DEMAC, 3Dtlačený modulárny klaster Beowulf: 23 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

High Performance Computation (HPC) je schopnosť spracovávať údaje a vykonávať komplexné výpočty vysokou rýchlosťou. Je to aplikácia „superpočítačov“na výpočtové problémy, ktoré sú buď príliš veľké pre štandardné počítače, alebo by ich dokončenie trvalo príliš dlho. Top500 je zoznam, ktorý vychádza dvakrát ročne, a radí sa medzi najrýchlejšie a najvýkonnejšie počítače na svete. Krajiny a veľké organizácie vynakladajú milióny zdrojov na uvedenie týchto systémov do prevádzky, aby vedci mohli využívať najmodernejšie technológie a riešiť zložité problémy.

Počítače pred rokmi zlepšovali svoj výkon zvýšením rýchlosti procesora. Potom, čo sme čelili spomaleniu tohto druhu prístupu, sa vývojári rozhodli, že na pokračovanie zvyšovania výkonu počítačov by malo byť spojených viac jadier (alebo výpočtových jednotiek). Agregácia viacerých výpočtových zdrojov a mechanizmov na ovládanie týchto zdrojov je to, čo v počítačovej vede nazývame „paralelnosť“. Mať viac jadier pri viacerých úlohách znie ako dobrý prístup k zlepšeniu výkonu počítača … ale otvára sa tým veľká otázka: ako tieto zdroje využijeme efektívnejšie?

Tieto otázky zamestnávajú počítačových vedcov, existuje niekoľko spôsobov, ako počítaču povedať, ako má veci robiť, a ešte viac spôsobov, ako povedať viacerým počítačom, ako majú veci robiť. Tento projekt si kladie za cieľ vyvinúť cenovo dostupnú platformu, kde by každý mohol experimentovať s vysoko paralelným strojom, testovať existujúce modely a aplikovať ich vo svojich vlastných projektoch, vyvíjať nové a kreatívne spôsoby riešenia výpočtových problémov alebo ho použiť iba ako spôsob učenia ostatných o počítačoch. Dúfame, že si prácu s DEMAC môžete užiť rovnako ako my.

DEMAC

Delaware Modular Assembly Cluster (DEMAC) je rozšíriteľná rada vstavaných systémov (počítače veľkosti kariet) a sada rámcov s 3D tlačou na obklopenie dosiek a ďalšieho hardvéru, ktorý poskytuje napájanie, chladenie a prístup k sieti.

Každé zariadenie alebo vstavaný systém je malý počítač, doska Parallella, ktorá kombinuje zdroje dvojjadrového procesora ARM, 16-jadrového koprocesora s názvom Epiphany a vstavaného FPGA s flexibilitou kompletného balíka s otvoreným zdrojovým kódom. Držiak je doma vyrobený 3D tlačený rám, ktorý umožňuje nízkonákladovú implementáciu a eskalovateľnú štruktúru. Je navrhnutý tak, aby sa do neho zmestili 4 jednotky stojana štandardnej veľkosti (ako tie, ktoré nájdete v miestnostiach počítačových serverov).

Tento návod obsahuje:

- Zoznam požadovaných materiálov

- Pokyny na 3D tlač rámov

- Pokyny na montáž a pripojenie dielov

- Sprievodca stiahnutím a inštaláciou požadovaného softvéru

- Popis spôsobu pripojenia a interakcie s klastrom

- A „Prečo to robíme?“sekcii

Kto sme?

Sme CAPSL (počítačové architektúry a paralelné laboratórium) z University of Delaware. Veríme, že budúcnosť výpočtu by mala mať silnú základňu v teórii toku údajov (ktorú v prípade záujmu vysvetlíme neskôr v tomto návode).

Zásoby

Tento zoznam popisuje materiály potrebné na vybudovanie 4-doskového klastra

- 4 dosky Parallella (môžete ich získať od spoločnosti DigiKey alebo iných predajcov, ďalšie informácie nájdete na ich webových stránkach

-4 karty micro-SD s najmenej 16 Gb (tu je veľmi lacné 10-balenie alebo niečo podobné, ako sú flexibilnejšie kombá)

- 4 káble micro USB s minimálnou dĺžkou 30 cm (1 stopa) (odporúčam tieto)

- Nabíjačka USB [s najmenej 4 portmi typu A] (odporúčam túto so 6 portami alebo s rovnakým tvarovým faktorom, pretože na to je určené napájacie puzdro)

- Chladiaci ventilátor [maximálna veľkosť 100 mm x 100 mm x 15 mm] (odporúčam tento, pretože je lacný a funguje, ale fungujú aj ostatné s podobnou veľkosťou a konfiguráciou kábla)

- Napájanie chladiaceho ventilátora (Ak je vaša konfigurácia pre viac ako 8 dosiek, odporúčam túto alebo niečo podobné [AC 100 V/ 240 V až DC 12 V 10 A 120 W], ktoré má pekný kovový kryt a dá sa tiež pripevniť k prepínaču) (Ak sa chystáte zapojiť iba dva ventilátory alebo menej, môžete použiť ľubovoľných 12 V s najmenej 1 A výstupným zdrojom energie, ktorý môžete mať okolo seba)

- 5 ethernetových káblov (4 môžu byť takto krátke, v závislosti od vzdialenosti od prepínača k doskám a jeden by mal byť dostatočne dlhý na pripojenie prepínača k počítaču alebo modemu na prístup do klastrovej siete)

>> Dôležitá poznámka: Je potrebný chladiaci systém, inak sa dosky môžu prehriať! <<<

3D tlačené diely

- 4 doskové podnosy (Frame_01)

- 1 puzdro dosky (Frame_02)

- 1 puzdro ventilátora (Frame_03_B & Frame_03_T)

- 1 skriňa napájania (Frame_04)

Krok 1: O DEMAC

DEMAC je súčasťou širšieho obrazu, flexibilnej a rozšíriteľnej platformy, ktorá nám umožňuje vyvíjať a testovať nové modely spustenia programovania (PXM) na paralelné výpočty. PXM je viac než len spôsob, ako popísať výpočty, predstavuje chrbticu, ktorá poskytuje zhodu medzi spôsobom, akým je program vyjadrený, a tým, ako je preložený do spoločného jazyka, ktorý môže stroj vykonávať. Popisujeme sadu prvkov, ktoré používateľovi umožňujú generovať programy a spôsob, ako organizovať vykonávanie programu. Program môže byť optimalizovaný na zacielenie na konkrétnu architektúru používateľom alebo automatizovaným nástrojom na základe tohto spoločného pozadia.

Môžete sa dozvedieť viac o tomto projekte na konci tohto pokynu, môžete tiež kliknúť sem a získať ďalšie informácie o DEMAC alebo tu získať ďalšie informácie o CAPSL)

Krok 2: 3D tlač DEMAC

V tejto sekcii nájdete návod na 3D tlač rámov, ktoré obklopujú ostatné komponenty a poskytujú konštrukčnú podporu. Aj keď ste majstrom 3D tlače, tu je niekoľko tipov, ktoré môžete pri tlači týchto rámcov zvážiť. Všetky rámy je možné vytlačiť pomocou trysky 0,4 mm s výškou vrstvy 0,3 alebo 0,2 (môžete použiť aj adaptívne). Všetko som vytlačil pomocou PLA, ale je úplne jedno, či chcete použiť iné materiály (pokiaľ poskytujú štrukturálnu stabilitu a môžu tolerovať vyššie alebo rovnaké teploty ako PLA).

Súbory STL:

www.thingiverse.com/thing:4493780

cults3d.com/en/3d-model/various/demac-a-mo…

www.myminifactory.com/object/3d-print-dema…

Doska na dosky (Frame_01)

Nie sú potrebné žiadne ďalšie podpory. Ten je veľmi jednoduchý, umiestnite ho rovným povrchom smerom k tlačovej ploche.

Skriňa dosky (Frame_02)

Ten môže vyžadovať určitú podporu v stredných nosníkoch. Môžete tvrdiť, že dobre vyladený stroj/krájač dokáže tieto mosty vytlačiť bez ďalšej podpory. Ak chcete tlačiť bez podpier, vyskúšajte najskôr mostové záťažové testy, pretože sa predpokladalo, že ich nebude vyžadovať. Na druhej strane bočné stĺpiky a steny poskytujú dostatočnú podporu pre tlač bez ďalších podporných štruktúr.

Skriňa ventilátora (Frame_03_B & Frame_03_T)

Nie sú potrebné žiadne ďalšie podpory. Stačí umiestniť obe časti rovným povrchom smerom k tlačovej ploche.

Napájacie puzdro (Frame_04)

Podobne ako v prípade Frame_02, aj tento môže vyžadovať podporu v stredných lúčoch. Môžete sa tiež pokúsiť vytlačiť tento bez dodatočného podporného materiálu (ako bol zamýšľaný). Bočné stĺpiky a steny poskytujú dostatočnú podporu pre tlač bez ďalších podporných štruktúr.

Skriňa výstupného chladenia (Frame_05_B & Frame_05_T)

Nie sú potrebné žiadne ďalšie podpory. Stačí umiestniť obe časti rovným povrchom smerom k tlačovej ploche.

Krok 3: Zostavte DEMAC

Teraz, keď máte všetky požadované diely, je čas začať s montážou klastra.

Nezabudnite odstrániť podporný materiál, ktorý môžete mať na rámoch.

Krok 4: Umiestnite ventilátor na kryt

Jednoducho zasuňte ventilátor dovnútra Frame_03_B (s káblom v pravom dolnom rohu), spodná časť by sa mala zmestiť dovnútra malých zakrivených stien, ktoré držia ventilátor na svojom mieste.

Umiestnite Frame_03_T s malými zakrivenými stenami nadol na vrch Frame_03_B (s ventilátorom už na svojom mieste). Dávajte pozor, aby ste najširšie veko Frame_03_T obrátili k širšej (zadnej) ploche Frame_03_B. Rámy by mali zacvaknúť a viečka by ich mali držať na svojom mieste.

Krok 5: Pripojte kryt dosky k výkonovému krytu

Umiestnite Frame_02 na vrch Frame_04, tieto dve sú navrhnuté tak, aby sa k sebe hodili. V spodnej časti Frame_02 je malá priehlbina, ktorá zapadá do konektorov v hornej časti Frame_04. Pripojte ich jemnou silou.

Krok 6: Nainštalujte chladiacu jednotku

Frame_03 (B&T) sú navrhnuté tak, aby zapadli spolu s Frame_02, umiestnite ventilátor smerom k doskám (prúdenie vzduchu by malo ísť dovnútra Frame_02). V stĺpcoch Frame_02 sú malé preliačiny, ktoré by sa mali zhodovať so značkami v Frame_03_B. Jemne tlačte na bočné strany konštrukcie, kým rámy nezacvaknú.

Krok 7: Umiestnite dosky na dosky dosky

Frame_01 má 4 kolíky, ktoré zodpovedajú otvorom v doske Parallella. Doska by sa mala ľahko zmestiť do podnosu. V závislosti od kalibrácie vašej 3D tlačiarne môžu byť príliš veľké alebo príliš malé. Môžete ich použiť trochu tekutého silikónového lepidla, alebo ich trocha pritlačiť kliešťami a zmenšiť priemer.

>> Dôležitá poznámka: Nezabudnite umiestniť chladiče na dosku <<<

Krok 8: Zasuňte podložky dosky do krytu dosky

Frame_01 poskytujú sloty, ktoré sa hodia do koľajníc Frame_02 pre každú úroveň. Všimnite si toho, že je tu len jedna strana otvorená na prijatie podnosu dosky. Existuje tiež malý náraz, ktorý pomáha udržať Frame_01 na svojom mieste (úprimne povedané, v budúcej verzii by mohli využiť určité vylepšenie).

Posuňte všetky 4 podložky dosiek s už položenými doskami, 1 na každú úroveň.

Krok 9: Umiestnite napájací zdroj do krytu napájania

Umiestnite napájací zdroj USB do rámu_04 tak, aby porty USB smerovali von. Na druhej strane je malý otvor pre napájací kábel, ktorý napája rozbočovač.

Krok 10: Pripojte ventilátor k napájaniu chladenia

Teraz by mal byť ventilátor pripojený k napájaciemu zdroju 12 V, ktorý dodáva energiu chladiacej jednotke.

>> Dôležitá poznámka: Nechajte chladiaci systém stále v prevádzke, kým máte dosky pripojené k zdroju napájania <<<

Krok 11: Konfigurujte OS

1. Stiahnite si odporúčaný operačný systém (Parabuntu) tu

Existujú dve revízie čipov (z7010 [P1600/P1601] a z7020 [P1602/A101040], ktoré vyžadujú rôzne súbory.

Pre obe revízie existuje verzia bez hlavy (bez grafického používateľského rozhrania) a verzia, ktorá poskytuje podporu HDMI a grafické používateľské rozhranie)

Ak chcete použiť výstup HDMI, zaobstarajte si kábel mini-HDMI.

S verziou bez hlavy môžete komunikovať prostredníctvom siete.

Viac informácií a podrobné vysvetlenie nájdete tu na oficiálnom webe.

Tu sú kroky na inštaláciu operačného systému pomocou distribúcie založenej na Linuxe. Na ďalšie kroky môžete použiť príkazy v termináli (bez symbolu $) alebo si pozrite ďalšie postupy na webovej stránke.

2. Nainštalujte

- Vložte kartu micro-SD do bežného počítača- Rozbaľte obrázok Ubuntu. Zmeňte [releasename] pre názov obrázku.

$ gunzip -d [názov vydania].img.gz

3. Overte cestu k zariadeniu na karte SD

Presná cesta zariadenia k vašej karte SD závisí od vašej distribúcie Linuxu a nastavenia počítača. Pomocou nižšie uvedeného príkazu získate správnu cestu. Ak z výstupu nie je jasné, ktorá cesta je správna, skúste príkaz s vloženou kartou SD a bez nej. V Ubuntu môže byť vrátená cesta niečo ako „/dev/mmcblk0p1“.

$ df -h

4. Odpojenie karty SD Pred napálením karty budete musieť odpojiť všetky oddiely na kartách SD. [SD-partition-path] pochádza z príkazu „df“v kroku 3.

$ umount [sd-partition-path]

5. Vypálte obraz disku Ubuntu na kartu micro-SD

Vypálte obrázok na kartu SD pomocou pomocného programu „dd“zobrazeného v nižšie uvedenom príklade príkazu. Buďte opatrní a uistite sa, že ste zadali cestu správne, pretože tento príkaz je nevratný a prepíše čokoľvek v ceste! Príklad príkazu v Ubuntu by bol: „sudo dd bs = 4M if = my_release.img of =/dev/mmcblk0“. Buďte trpezliví, v závislosti od použitého počítača a karty SD to môže chvíľu trvať (mnoho minút).

$ sudo dd bs = 4M if = [releasename].img of = [sd-partition-path]

6. Uistite sa, že všetky zápisy na kartu SD boli dokončené

$ sync

7. Vložte kartu SD do zásuvky na kartu SD na doske

Krok 12: Pripojte dosku k napájaciemu zdroju

Pomocou kábla miniUSB na USB-A pripojte jednu z dosiek k rozbočovaču USB. Porty a káble môžete označiť štítkom alebo definovať poradie pripojení pre prípad, že budete neskôr potrebovať odpojiť dosku.

Krok 13: Nastavenie smerovača

Ak inštalujete bezhlavý operačný systém, keď ste vo veľkej sieti, budete musieť použiť router a pripojiť ho k internetu, doskám Parallella a k osobnému počítaču.

Ak sa nemôžete pripojiť k smerovaču, môžete dosku pripojiť aj priamo k počítaču pomocou ethernetového kábla, tento postup môže byť trochu zložitejší a v tomto návode by sa naň nevzťahoval.

Keď je všetko pripojené, otvorte rozhranie smerovača a zistite, aká adresa IP sa predvolene udeľuje vášmu Parallella. Vyhľadajte kartu s názvom Sieť. Potom nájdite sekciu s názvom Zoznam klientov DHCP. Tam by ste mali vidieť svoju dosku Parallella a jej IP adresu.

S touto IP adresou môžete SSH do Parallella nastaviť a nastaviť statickú IP adresu.

Krok 14: Pripojenie k doske Parallella s SSH

Poznámka: V tejto časti je [default_IP] dynamická adresa IP, ktorú ste našli v zozname klientov DHCP.

Skontrolujte pripojenie k doske

$ ping [predvolené_IP]

SSH do dosky po prvýkrát (predvolené heslo je paralelné)

$ ssh parallella@[default_IP]

Krok 15: Nastavenie siete

- Zmeniť názov hostiteľa: upraviť /etc /hostname

Tu môžete priradiť ľubovoľné meno, odporúčame použiť NOPA ##

Kde ## identifikuje číslo predstavenstva (t.j. 01, 02, …)

- Nastavte ďalšie adresy IP na nástenkách: upravte súbor /etc /hosts

Nastaviť statickú adresu IP: pridajte nasledujúci text pre /etc/network/interfaces.d/eth0

#Rozhranie primárnej siete eth0

iface eth0 inet static

adresa 192.168.10.101 #IP by mala byť v dosahu smerovača

sieťová maska 255.255.255.0

brána 192.168.10.1 #Toto by mala byť adresa smerovača

nameserver 8.8.8.8

nameserver 8.8.4.4

Akonáhle priradíte IP doske, môžete reštartovať spojenie pomocou príkazu

$ ifdown eth0; ifup eth0

alebo reštartujte dosku

Krok 16: Nastavenie prístupu Keygen a prístupu bez hesla na doskách

Nastavte dvojicu súkromných verejných kľúčov na každom uzle (vrátane hlavného uzla). Vytvorte dočasný priečinok, vygenerujte nový kľúč a urobte z neho autorizovaný kľúč a pridajte všetky NOPA k známym hostiteľom, ako je uvedené nižšie.

mkdir tmp_sshcd tmp_ssh ssh -keygen -f./id_rsa

#Dvojitým stlačením klávesu Enter zadajte a potvrďte prázdne heslo

cp id_rsa.pub authorized_keys

pre i v `seq 0 24`; do j = $ (echo $ i | awk '{printf "%02d / n", $ 0}');

ssh-keyscan NOPA $ J >> known_hosts; hotový

Krok 17: Inštalácia Sshfs

- Použitie sshfs umožňuje zdieľanie súborov medzi doskami v klastri. Spustite nasledujúci príkaz:

$ sudo apt -get install -y sshfs

- Kontrola / Vytvorenie skupiny poistiek

Skontrolujte, či existuje skupina poistiek:

$ mačka /etc /skupina | grep 'fuse'

Ak skupina existuje, spustite nasledujúci príkaz

$ bash sudo usermod -a -G poistka paralelne

- Ak skupina neexistuje, vytvorte ju a pridajte do nej používateľa

$ sudo groupadd poistka

$ sudo usermod -a -G poistka paralelne

- Odkomentujte riadok user_allow_other v súbore fuse.config

$ sudo vim /etc/fuse.conf

Krok 18: Konfigurujte priečinok NFS

- Upravte súbor /etc /fstab

$ sudo vim /etc /fstab

- Nahraďte obsah textom uvedeným nižšie

# [súborový systém] [bod pripojenia] [typ] [možnosti]

sshfs#parallella@NOPA01:/home/parallella/DEMAC_nfs/home/parallella/DEMAC_nfs fuse comment = sshfs, noauto, users, exec, rw, uid = 1000, gid = 1000, allow_other, reconnect, transform_symlinks, BatchMode = yes, nonempty, _netdev, identityfile =/home/parallella/.ssh/id_rsa, default_permissions 0 0

Krok 19: Pripojte dosku k prepínaču

Umiestnite prepínač pod klaster alebo niekde v blízkosti, pomocou ethernetových káblov pripojte k prepínaču dosku, ktorú ste už nakonfigurovali. Prepínač a počítač môžete pripojiť aj k smerovaču, aby ste získali prístup do klastra.

Mali by ste byť schopní ping a ssh do dosky, ktorá je teraz pripojená k prepínaču, so statickou IP.

Do súboru /etc /hosts môžete tiež pridať IP a názov hostiteľa. Na zadanie celej adresy IP budete môcť použiť názov hostiteľa na pripojenie.

Krok 20: Opakujte kroky 11 až 19 pre každú tabuľu

Pri konfigurácii operačného systému a siete pre každú dosku postupujte podľa týchto pokynov.

>> Dôležitá poznámka: Na každej doske používajte rôzne názvy hostiteľov a IP! Mali by byť jedinečné prostredníctvom siete! <<<

Krok 21: Pripojte periférne zariadenia

Uistite sa, že ventilátor funguje:

Zaistite, aby bol ventilátor napájaný a prúdenie vzduchu smerovalo dovnútra do skrinky dosky. Pripojenie by malo byť stabilné a nezávislé od ostatných prvkov. Nezabudnite, že dosky sa môžu prehriať, ak nie sú správne vychladené.

Uistite sa, že dosky sú pripojené k prepínaču:

V tomto mieste by ste mali nakonfigurovať každú dosku nezávisle. Dosky by mali byť tiež pripojené k prepínaču. Príručka k prepínaču by mala poskytovať informácie, ktoré je možné použiť na kontrolu správneho dokončenia procesu spustenia. Môžu existovať niektoré diódy LED, ktoré indikujú stav.

Pripojte dosky k napájaciemu zdroju:

Pomocou kábla micro-USB na USB-A pripojte každú dosku k rozbočovaču USB. Porty môžete označiť štítkom alebo definovať poradie v prípade, že potrebujete odpojiť jednu dosku.

Krok 22: Pripojte napájanie

1. Ventilátor by mal fungovať.

2. Dosky by mali byť pripojené k ethernetovému prepínaču.

3. Skontrolujte, či sú dosky pripojené k rozbočovaču USB.

4. Napájajte rozbočovač USB.

5. Povoliť DEMAC!

6. Zisk!

Krok 23: Prostriedky softvéru

MPI (Message Passing Interface)

MPI je komunikačný protokol na programovanie paralelných počítačov. Podporovaná je komunikácia point-to-point aj kolektívna komunikácia.

www.open-mpi.org/

OpenMP (Open Multi-Processing)

Aplikačné programovacie rozhranie (API) OpenMP (Open Multi-Processing) podporuje multiplatformové multiprocesové programovanie so zdieľanou pamäťou v C, C ++ a Fortran na mnohých platformách. Skladá sa zo sady direktív kompilátora, rutín knižnice a premenných prostredia, ktoré ovplyvňujú správanie pri spustení.

www.openmp.org/

Softvér Parallella

Vývojári poskytujú balík softvéru s otvoreným zdrojovým kódom vrátane súpravy SDK na prepojenie s akcelerátorom.

www.parallella.org/software/

Nájdete tu aj návody a podrobnejšie informácie.

Majú tiež úložiská GitHub:

github.com/parallella

Neváhajte si stiahnuť a spustiť niektoré z príkladov, jeden z mojich obľúbených je hra o život podľa známej Conwayovej hry o život.

Zrieknutie sa zodpovednosti: Definície je možné skopírovať z wikipédie