Building your own Renderfarm

Last September we moved to our new office and needed render power to start our business. Because there was only one room we needed a solution for the hardware combining three criteria:

• Low noise
• Small form factor
• Cost-effective

We searched the internet for hardware combinations and after a few tries we ended up with a good solution fulfilling all the criteria.

The costs of one rendercube are 520€ excl. VAT with a Cinebench R15 value of 760cb points.​

For assembling the hardware we decided to work parallel on each rendercube and not build them one after another. We needed 12 Nodes. A half year ago we already built 6 cubes to test different configurations. So there were only 6 left to assemble.

The advantage of working parallel on each machine is, that you can transfer every working step to finish your work very fast. But you have to be very careful. If your planning is bad you end up with mistakes in every single rendercube. So don’t waste your time and start with building one single configuration. After that experience you can start assembling the rest parallel.

First you start with assembling the mainboard. The Coolcube case is really small so you don’t have any room to attach anything to the board later. So put the CPU on the socket and attach the CPU mount on the board. After that apply the thermally conductive paste to the CPU. We recommend a thin layer of this paste distributed on the surface evenly. You can use the plastic CPU box for this task.

Before attaching the CPU heat sink to the board you have to plug in all the plugs and components to the mainboard. The heat sink covers nearly the whole board so be sure everything is in place. Plug in the RAM, SATA-connector both electrical connections and the front connectors of the case. Now you can attach the heat sink.

The fan has to suck the air out of the case so it has to be mounted upside down. As the power supply fan lies really close to the heat sink it transports the warm air outside. There is another advantage of this construction. Because of the close mount of the power supply fan to the heat sink you can cool the CPU in Idle only with the power supply fan.

Now take this whole pile and put it into the case. The Cooltek Coolcube is equipped with an external USB3 plug. We don’t have a connector on the board for USB3 and it is just a waste of space in a rendernode so we decided to dismount this plug. When everything is in its place and the power supply is mounted you can tie up the cables with a cable tie and put them between the power supply and the case.

Bolt down the SSD Harddrive to the base of the case, plug it in and close the cube. The hardware is now ready to use.

In the UEFI you should turn on the option „PCIE Devices Power On“  if you want to use wake on lan later on. The CPU fan is also configured manually. The fan starts rotating at 70°C and rises to 100% when reaching 80°C. In practice you won’t get close to 80°C when rendering. Only in summer or with programs like prime95 you reach 80°C but that’s really escapist.

To store all the rendercubes in a clean way we bought a shelf from IKEA called Kallax (147m x 147m) with two drawers and two cubicle doors for 129€ incl. VAT. We mounted a 24-port switch and two frame connectors at the back. Cable ducts at the back were used to cover all the cables seen from the front. As a result we got a clean, nice looking, low noise and cheap renderfarm. We also hided our Synology Diskstation DS1513+ with 30TB inside this shelve behind a cubicle door to lower the noise.

We hope you get inspired to build those rendercubes by yourself. If you find a better solution you are welcome to tell us in the comments.

DEUTSCH

Im letzten September sind wir in unser neues Büro gezogen und wollten uns etwas renderpower zulegen. Da es aber keinen separaten Raum für all die Technik gibt mussten wir eine Lösung finden, die drei Faktoren vereint:

• Leiser Betrieb
• Geringer Formfaktor
• Kosteneffizient

Wir haben also das Internet nach Lösungen durchsucht und sind nach mehreren Versuchen letztendlich auf eine für uns gute Lösung gekommen.

Die Hardwarekosten eines Rendercubes liegen bei 520€ Netto bei einem Cinebench R15 Wert von 760 cb Punkten.

Die Hardwareliste befindet sich oben im egnlischen Abschnitt.

Wir haben uns beim Aufbauen dafür entschieden, jeden Arbeitsschritt parallel an allen Rendercubes durchzuführen. Insgesamt benötigten wir 12 Nodes. 6 davon hatten wir bereits im Laufe des letzten halben Jahres angesammelt, um verschiedene Hardwarekofigurationen zu testen. Wir mussten also „nur“ noch 6 weitere Cubes zusammenbauen.

Ein paralleles Aufbauen hat den Vorteil, dass Arbeitsschritte schnell übertragen werden können und die Arbeit so schnell voran geht. Man sollte aber aufpassen, denn wenn man den Ablauf nicht gut plant, ist der Fehler in allen Konfigurationen vorhanden. Das kann Zeit kosten. Am besten also erst einmal mit einem einzelnen Cube anfangen und danach die restlichen parallel bauen.

Als Erstes muss das Mainboard komplett bestückt werden. Im Gehäuse wird nachher kaum noch Platz sein, also muss das Alles außerhalb stattfinden. Zunächst also die CPU in den Sockel legen und die Halterung für den CPU Kühler von hinten befestigen. Dieser wird ohne Backplate direkt am Board verschraubt. Danach die Wärmeleitpaste auftragen. Hierzu gibt es ja einige Herangehensweisen. Manche schwören auf nur wenige Punkte auf der Oberfläche. Wir sind hingegen die letzten Jahrzehnte immer gut mit einer gleichmäßigen dünnen Schicht gefahren. Gut zu verstreichen mit der Plastik CPU Verpackung. Alternativ tut es auch eine Bahncard, die ist im Winter ja sowieso nicht zu gebrauchen.

Bevor der CPU Kühler montiert wird müssen alle Stecker auf dem Board angeschlossen werden. Der Kühler verdeckt fast das ganze Board, wodurch eine spätere Montage ziemlich langwierig und schmerzhaft werden kann. Also den RAM, den SATA-Anschluss,  die beiden Stromanschlüsse und die Gehäuseanschlüsse auf dem Board anschließen. Nun kann der Kühlkörper befestigt werden.

Der Lüfter muss anschließend so montiert werden, dass er die Luft von unten durch den Kühlkörper nach Oben saugt. Da direkt darüber der Netzteillüfter die Luft nach außen transportiert, wird die Wärme schnell abgeleitet. Das Ganze hat auch noch einen weiteren Vorteil. Da der Netzteillüfter extrem dicht an dem Kühlkörper sitzt, reicht dieser im Idle alleine aus, um die CPU zu kühlen.

Jetzt muss dieser ganze Haufen noch in das Gehäuse montiert werden. Der Cooltek Coolcube ist mit einem externen USB 3 Stecker ausgestattet. Das Board liefert hierfür keinen Anschluss und bei einem Rendernode ist dieser sowieso überflüssig. Wir haben daher den Anschluss herausgeschraubt, um alles Platzfressende aus dem Innenraum zu entfernen. Wenn alles vorsichtig verstaut ist und das Netzteil festgeschraubt ist, kann man die restlichen Kabel mit einem Kabelbinder zusammen binden und zwischen Netzteil und Seitenwand verstauen.

Die Festplatte nur noch am Boden festschrauben, anstecken und das Gehäuse verschließen. Der Hardwarebau ist damit abgeschlossen.

Im UEFI sollte man noch die Option „PCIE Devices Power On“ aktivieren, wenn man Wake on Lan benutzen möchte. Die Lüftereinstellungen sind auch über das UEFI manuell eingestellt. Der Lüfter springt erst ab 70°C an und geht erst ab 80°C auf 100% Leistung. In der Praxis erreicht die CPU diese 80°C beim Rendern aber höchstens im Sommer oder bei CPU Stresstests, die ziemlich Realitätsfremd sind.

Um die ganzen Rechner sauber zu verstauen haben wir uns bei IKEA ein Kallax Regal (147m x 147m) gekauft mit zwei Türen und vier Schubladen für 129€. Auf der Rückseite haben wir zwei Steckerleisten und einen 24-Port Switch montiert. Um die Kabel von vorne zu verstecken haben wir Kabelkanäle zurechtgeschnitten und auf der Rückseite montiert. Das Resultat ist eine aufgeräumte Renderfarm in der wir hinter der Tür auch noch eine Synology Diskstation DS1513+ mit 30TB verstaut haben, von der man somit auch nichts mitbekommt.

Wir hoffen, dass wir euch dazu inspirieren konnten eure eigene Renderfarm aufzubauen. Falls ihr vielleicht eine andere oder bessere Lösung gefunden habt, könnt ihr uns das gerne in den Kommentaren mitteilen.