Lade...

Blog Banner

03 February 2015

Building your own Renderfarm

How to build your own cheap, silent and cost-effective rendernode

Last September we moved to our new office and needed render power to start our business. Because there was only one room we needed a solution for the hardware combining three criteria:

  • Low noise
  • Small form factor
  • Cost-effective

We searched the internet for hardware combinations and after a few tries we ended up with a good solution fulfilling all the criteria.

The costs of one rendercube are 520€ excl. VAT with a Cinebench R15 value of 760cb points.​

CPU Intel Core i7 4790 4x 3.60GHz 221,38€ 
SSD 128GB Crucial MX100 2.5” 48,81€
Thermalright AXP-200 Muscle  29,55€
be quiet! PURE POWER L8 300W     31,08€
16GB Kit Crucial Ballistix Sport Series  104,95€
MB ASROCK H81M-ITX Intel H81 So.1150 44,37€
Cooltek Coolcube ITX Tower  40,43€
  520,57€

For assembling the hardware we decided to work parallel on each rendercube and not build them one after another. We needed 12 Nodes. A half year ago we already built 6 cubes to test different configurations. So there were only 6 left to assemble.

The advantage of working parallel on each machine is, that you can transfer every working step to finish your work very fast. But you have to be very careful. If your planning is bad you end up with mistakes in every single rendercube. So don’t waste your time and start with building one single configuration. After that experience you can start assembling the rest parallel.

First you start with assembling the mainboard. The Coolcube case is really small so you don’t have any room to attach anything to the board later. So put the CPU on the socket and attach the CPU mount on the board. After that apply the thermally conductive paste to the CPU. We recommend a thin layer of this paste distributed on the surface evenly. You can use the plastic CPU box for this task.

rendercube cpu

Before attaching the CPU heat sink to the board you have to plug in all the plugs and components to the mainboard. The heat sink covers nearly the whole board so be sure everything is in place. Plug in the RAM, SATA-connector both electrical connections and the front connectors of the case. Now you can attach the heat sink.

The fan has to suck the air out of the case so it has to be mounted upside down. As the power supply fan lies really close to the heat sink it transports the warm air outside. There is another advantage of this construction. Because of the close mount of the power supply fan to the heat sink you can cool the CPU in Idle only with the power supply fan.

Now take this whole pile and put it into the case. The Cooltek Coolcube is equipped with an external USB3 plug. We don’t have a connector on the board for USB3 and it is just a waste of space in a rendernode so we decided to dismount this plug. When everything is in its place and the power supply is mounted you can tie up the cables with a cable tie and put them between the power supply and the case.

rendercube board inside

Bolt down the SSD Harddrive to the base of the case, plug it in and close the cube. The hardware is now ready to use.

In the UEFI you should turn on the option „PCIE Devices Power On“  if you want to use wake on lan later on. The CPU fan is also configured manually. The fan starts rotating at 70°C and rises to 100% when reaching 80°C. In practice you won’t get close to 80°C when rendering. Only in summer or with programs like prime95 you reach 80°C but that’s really escapist.

rendercube UEFI CPU Fan Setup

To store all the rendercubes in a clean way we bought a shelf from IKEA called Kallax (147m x 147m) with two drawers and two cubicle doors for 129€ incl. VAT. We mounted a 24-port switch and two frame connectors at the back. Cable ducts at the back were used to cover all the cables seen from the front. As a result we got a clean, nice looking, low noise and cheap renderfarm. We also hided our Synology Diskstation DS1513+ with 30TB inside this shelve behind a cubicle door to lower the noise.

renderfarm completed

We hope you get inspired to build those rendercubes by yourself. If you find a better solution you are welcome to tell us in the comments.

 

DEUTSCH

 

Im letzten September sind wir in unser neues Büro gezogen und wollten uns etwas renderpower zulegen. Da es aber keinen separaten Raum für all die Technik gibt mussten wir eine Lösung finden, die drei Faktoren vereint:

  • Leiser Betrieb
  • Geringer Formfaktor
  • Kosteneffizient

Wir haben also das Internet nach Lösungen durchsucht und sind nach mehreren Versuchen letztendlich auf eine für uns gute Lösung gekommen.

Die Hardwarekosten eines Rendercubes liegen bei 520€ Netto bei einem Cinebench R15 Wert von 760 cb Punkten.

Die Hardwareliste befindet sich oben im egnlischen Abschnitt.

Wir haben uns beim Aufbauen dafür entschieden, jeden Arbeitsschritt parallel an allen Rendercubes durchzuführen. Insgesamt benötigten wir 12 Nodes. 6 davon hatten wir bereits im Laufe des letzten halben Jahres angesammelt, um verschiedene Hardwarekofigurationen zu testen. Wir mussten also „nur“ noch 6 weitere Cubes zusammenbauen.

Ein paralleles Aufbauen hat den Vorteil, dass Arbeitsschritte schnell übertragen werden können und die Arbeit so schnell voran geht. Man sollte aber aufpassen, denn wenn man den Ablauf nicht gut plant, ist der Fehler in allen Konfigurationen vorhanden. Das kann Zeit kosten. Am besten also erst einmal mit einem einzelnen Cube anfangen und danach die restlichen parallel bauen.

Als Erstes muss das Mainboard komplett bestückt werden. Im Gehäuse wird nachher kaum noch Platz sein, also muss das Alles außerhalb stattfinden. Zunächst also die CPU in den Sockel legen und die Halterung für den CPU Kühler von hinten befestigen. Dieser wird ohne Backplate direkt am Board verschraubt. Danach die Wärmeleitpaste auftragen. Hierzu gibt es ja einige Herangehensweisen. Manche schwören auf nur wenige Punkte auf der Oberfläche. Wir sind hingegen die letzten Jahrzehnte immer gut mit einer gleichmäßigen dünnen Schicht gefahren. Gut zu verstreichen mit der Plastik CPU Verpackung. Alternativ tut es auch eine Bahncard, die ist im Winter ja sowieso nicht zu gebrauchen.

Bevor der CPU Kühler montiert wird müssen alle Stecker auf dem Board angeschlossen werden. Der Kühler verdeckt fast das ganze Board, wodurch eine spätere Montage ziemlich langwierig und schmerzhaft werden kann. Also den RAM, den SATA-Anschluss,  die beiden Stromanschlüsse und die Gehäuseanschlüsse auf dem Board anschließen. Nun kann der Kühlkörper befestigt werden.

Der Lüfter muss anschließend so montiert werden, dass er die Luft von unten durch den Kühlkörper nach Oben saugt. Da direkt darüber der Netzteillüfter die Luft nach außen transportiert, wird die Wärme schnell abgeleitet. Das Ganze hat auch noch einen weiteren Vorteil. Da der Netzteillüfter extrem dicht an dem Kühlkörper sitzt, reicht dieser im Idle alleine aus, um die CPU zu kühlen.

Jetzt muss dieser ganze Haufen noch in das Gehäuse montiert werden. Der Cooltek Coolcube ist mit einem externen USB 3 Stecker ausgestattet. Das Board liefert hierfür keinen Anschluss und bei einem Rendernode ist dieser sowieso überflüssig. Wir haben daher den Anschluss herausgeschraubt, um alles Platzfressende aus dem Innenraum zu entfernen. Wenn alles vorsichtig verstaut ist und das Netzteil festgeschraubt ist, kann man die restlichen Kabel mit einem Kabelbinder zusammen binden und zwischen Netzteil und Seitenwand verstauen.

Die Festplatte nur noch am Boden festschrauben, anstecken und das Gehäuse verschließen. Der Hardwarebau ist damit abgeschlossen.

Im UEFI sollte man noch die Option „PCIE Devices Power On“ aktivieren, wenn man Wake on Lan benutzen möchte. Die Lüftereinstellungen sind auch über das UEFI manuell eingestellt. Der Lüfter springt erst ab 70°C an und geht erst ab 80°C auf 100% Leistung. In der Praxis erreicht die CPU diese 80°C beim Rendern aber höchstens im Sommer oder bei CPU Stresstests, die ziemlich Realitätsfremd sind.

Um die ganzen Rechner sauber zu verstauen haben wir uns bei IKEA ein Kallax Regal (147m x 147m) gekauft mit zwei Türen und vier Schubladen für 129€. Auf der Rückseite haben wir zwei Steckerleisten und einen 24-Port Switch montiert. Um die Kabel von vorne zu verstecken haben wir Kabelkanäle zurechtgeschnitten und auf der Rückseite montiert. Das Resultat ist eine aufgeräumte Renderfarm in der wir hinter der Tür auch noch eine Synology Diskstation DS1513+ mit 30TB verstaut haben, von der man somit auch nichts mitbekommt.

Wir hoffen, dass wir euch dazu inspirieren konnten eure eigene Renderfarm aufzubauen. Falls ihr vielleicht eine andere oder bessere Lösung gefunden habt, könnt ihr uns das gerne in den Kommentaren mitteilen.

  • Hendrik

    19 Feb 2015 - 10:16:21

    Awesome DIY-Tutorial – exactly what I need. Thanks!

    Tobias

    19 Feb 2015 - 21:36:47

    Sehr interessanter Artikel zum “RenderCube” Eigenbau !!!
    Liebäugle schon seit längerer Zeit mit dem Produkt von CADNetwork, der Preisunterschied zu beschriebenen Lösung ist jedoch schon wirklich beachtlich.
    Wo gibt’s denn die Komponenten zu den angeführten Preisen? Konnte bei einer kurzen Recherche die Komponenten nicht wirklich zu diesen TOP-Preisen finden. Lässt sich das Teil mit dem CADNetwork Produkt vergleichen. Betriebssystem, Managementfunktionen ??? …
    Würde mich über eine Rückmeldung freuen – DANKE !!!

    Joerg

    20 Feb 2015 - 07:34:43

    Der Cube ist zu dem von CADNetwork relativ identisch. Das Gehäuse ist exakt das Gleiche. CAD Network hat einen Xeon verbaut, wir den etwas schnelleren und nur 10 Euro teureren i7 4790. Unsere Kühllösung ist ein wenig anders. Unter einem prime95 Stresstest ist der CAD Cube leiser als unsere Lösung, dafür ist unserer unter realen BEdingungen etwas laufruhiger. Im Grunde nimmt sich das aber nicht viel.
    Die Komponenten haben wir bei mindfactory bestellt. Hardware Preise schwanken immer. Es kann auch sein, dass mittlerweile neuere Komponenten billiger sind als unsere benutzten. Da muss man immer ein wenig die Augen aufhalten und dann den richtigen Zeitpunkt per Zufall erwischen;-)
    Auf den CADNetwork Rendercubes ist wohl eine arte Manager installiert, mit dem man die Cubes steuern kann. Wir benutzen bei uns RoyalRender, der das alles übernimmt. Also Cubes automatisch starten und wieder runterfahren. Wir vermissen also nichts.

    Tobias

    20 Feb 2015 - 09:14:52

    Hallo Jörg,
    danke dir für deine umfangreiche und sehr interessante Rückantwort.
    Werde ich mich in nächster Zeit an dieses Thema auch mal vorsichtig herantasten :-)

    Dieter

    25 Feb 2015 - 10:54:36

    Sehr schöner Bericht! Und das sieht auch noch klasse aus. Könnt ihr damit Generell Renderfarmen aussen vor lassen, oder kommen die hin und wieder doch zum Einsatz?

    Joerg

    25 Feb 2015 - 11:11:13

    Wir rendern alles bei uns mit der Farm. Bisher hat das noch kein Projekt gesprengt ;-)

    Dieter

    25 Feb 2015 - 16:35:49

    Hallo Joerg,

    danke für dein Feedback. Langfristig lohnt sich eine eigene Renderfarm sicherlich.
    Habt ihr evtl. noch ein paar Infos zum Netzwerk? Das verkabeln und einrichten ist ja auch nicht ohne…

    Robert

    22 Apr 2015 - 12:30:35

    Super Projekt!
    Mich interessiert, welches OS bei euch auf den Nodes läuft und wie ihr die Softwareupdates etc. managt…wird Jeder “Patient” einzeln verarztet oder habt ihr da Scripts etc. die euch dabei helfen?

    Joerg

    22 Apr 2015 - 12:34:05

    Die Nodes laufen mit Windows 7 Professional. Das Problem mit den Software Updates haben wir dadurch gelöst, dass wir keine installiert haben;-)
    Die Render-Clients werden zentral vom Server geladen. Updaten oder Plugin installieren heisst also nur: in einen Netzwerk Ordner installieren und Clients neu starten.

    Peter Heitmann

    15 Sep 2015 - 10:46:03

    Danke für die tolle Bauanleitung! 2 Dinge sind mit aber unklar. 1) Welches Gehäuse habt ihr genau benutzt? Von Cooltek gibt es verschiedene Coolcubes.http://www.cooltek.de/cubes/
    Euer Coolcube sieht aus wie der Mini. Dieser braucht jedoch ein SFX Formfaktor Netzteil. Das von Euch genutzte ist ein ATX Netzteil….?!
    Über einen Hinweis würde ich mich sehr freuen!
    Danke!

    GRIMM

    12 Feb 2016 - 11:31:50

    Sehr nice!
    Mich würde brennend interessieren wo es den CPU Intel Core i7 4790 4× 3.60GHz zu diesem Preis gibt. Danke.

    tomGlimps

    15 May 2016 - 19:05:42

    inspirational!

Due to spam comments will be published manually by a moderator.