Prenosové učenie s NVIDIA JetBot - zábava s dopravnými kužeľmi: 6 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:56

Môj github Nasledovať o: Mám rád aplikácie AI a strojového učenia, najmä v robotike Viac o dvillevald »

Naučte svojho robota nájsť cestu v bludisku dopravných kužeľov pomocou kamery a najmodernejšieho modelu hlbokého učenia.

Zásoby

• NVIDIA JetBot

  Stránka kusovníka NVIDIA JetBot Wiki obsahuje zoznam všetkého, čo potrebujete na zostavenie JetBotu, a tiež odkazy na nákup od obľúbených predajcov

• Počítač s grafickou kartou NVIDIA

  Potrebné na trénovanie modelu

• BlueDot Trading 4”RC Racing Agility kužele, oranžová - sada 20

Krok 1: Motivácia

Zakaždým, keď idem v oblasti kontrakcie, premýšľam, aké náročné by bolo, aby sa samo riadiace auto pohybovalo cez dopravné kužele. Ukazuje sa, že s novým JetBotom NVIDIA to nie je také ťažké-iba s niekoľkými stovkami obrázkov môžete vycvičiť najmodernejší model hlbokého učenia, aby váš robot naučil nájsť cestu v bludisku hračiek s dopravnými kužeľmi iba pomocou integrovanej kamery a bez ďalších senzorov.

Krok 2: Prehľad NVIDIA JetBot a projektu

JetBot je open-source robot založený na súprave NVIDIA Jetson Nano. Podrobný návod, ako ho postaviť a nastaviť, nájdete tu.

Tento projekt je upraveným príkladom predchádzania kolíziám z NVIDIA JetBot Wiki. Pozostáva z troch hlavných krokov, z ktorých každý je popísaný v samostatnom prenosnom počítači Jupyter:

• Zhromažďujte údaje na serveri JetBot - notebook data_collection_cones.ipynb
• Vlak modelu na inom stroji GPU - notebook train_model_cones.ipynb
• Spustite živé demo na JetBot - notebook live_demo_cones.ipynb

Tieto tri notebooky Jupyter nájdete tu

Krok 3: Zostavte JetBot a nahrajte notebooky Jupyter

1. Zostavte a nastavte JetBot, ako je vysvetlené tu
2. Pripojte sa k svojmu robotovi tak, že prejdete na stránku https://: 8888Prihláste sa pomocou predvoleného hesla jetbot
3. Vypnite všetky ostatné spustené notebooky výberom Jadro -> Vypnúť všetky jadrá …
4. Prejdite na ~/Notebooky/
5. Vytvoriť novú podpriečinok ~/Notebooky/traffic_cones_driving/
6. Nahrajte data_collection_cones.ipynb a live_demo_cones.ipynb do ~/Notebooks/traffic_cones_driving/

DÔLEŽITÉ: Notebooky Jupyter data_collection_cones.ipynb a live_demo_cones.ipynb uvedené v týchto pokynoch by mali byť spustené na serveri JetBot, zatiaľ čo train_model_cones.ipynb - na počítači s GPU.

Preto musíme nahrať data_collection_cones.ipynb a live_demo_cones.ipynb do JetBot a umiestniť ich do ~/Notebooks/traffic_cones_driving/

Krok 4: Zhromažďovanie údajov o výcviku na zariadení JetBot

Zhromaždíme súbor údajov o klasifikácii obrázkov, ktorý bude použitý na pomoc JetBotu v prevádzke v bludisku dopravných kužeľov. JetBot sa naučí odhadovať pravdepodobnosti štyroch scenárov (tried):

• Zadarmo - keď je bezpečné ísť vpred
• Blokované - keď je pred robotom prekážka
• Vľavo - keď sa má robot točiť doľava
• Vpravo - keď sa má robot točiť doprava

Na zhromažďovanie školiacich údajov na serveri JetBot použijeme notebook Jupyter data_collection_cones.ipynb, ktorý obsahuje podrobné pokyny, ako to urobiť. Ak chcete tento notebook spustiť na zariadení JetBot, postupujte podľa nasledujúcich krokov:

1. Pripojte sa k svojmu robotovi tak, že prejdete na adresu https://: jetbot-ip-address:: 8888
2. Prihláste sa pomocou predvoleného hesla jetbot
3. Vypnite všetky ostatné spustené notebooky výberom Jadro -> Vypnúť všetky jadrá …
4. Prejdite na ~/Notebooky/traffic_cones_driving/
5. Otvorte a postupujte podľa zápisníka data_collection_cones.ipynb

Krok 5: Trénujte neurónovú sieť na počítači GPU

Ďalej použijeme zhromaždené údaje na precvičenie modelu hlbokého učenia AlexNet na stroji GPU (hostiteľ) spustením train_model_cones.ipynb.

Všimnite si toho, že train_model_cones.ipynb je jediný notebook Jupyter v tomto návode, ktorý nie je spustený na JetBote

1. Pripojte sa k počítaču GPU s nainštalovaným PyTorch a spusteným serverom Jupyter Lab
2. Odošlite notebook train_model_cones.ipynb do tohto počítača
3. Odovzdajte súbor dataset_cones.zip, ktorý ste vytvorili v prenosnom počítači data_collection_cones.ipynb, a extrahujte tento súbor údajov. (Po tomto kroku by sa vám v prehliadači súborov mal zobraziť priečinok s názvom dataset_cones.)
4. Otvorte a postupujte podľa zápisníka train_model_cones.ipynb. Na konci tohto kroku vytvoríte model - súbor best_model_cones.pth, ktorý potom musíte nahrať do JetBot, aby ste mohli spustiť živé demo.

Krok 6: Spustite živé demo na JetBot

Posledným krokom je nahranie modelu best_model_cones.pth do zariadenia JetBot a jeho spustenie.

1. Napájajte svojho robota z batérie USB
2. Pripojte sa späť k svojmu robotovi tak, že prejdete na adresu https://: jetbot-ip-address:: 8888
3. Prihláste sa pomocou predvoleného hesla jetbot
4. Vypnite všetky ostatné spustené notebooky výberom Jadro -> Vypnúť všetky jadrá …
5. Prejdite na ~/Notebooky/traffic_cones_driving
6. Otvorte a sledujte zápisník live_demo_cones.ipynb

Začnite opatrne a poskytnite JetBotu dostatok priestoru na pohyb. Vyskúšajte rôzne konfigurácie kužeľov a zistite, ako dobre robot funguje v rôznych prostrediach, osvetlení atď. Kým notebook live_demo_cones.ipynb podrobne vysvetľuje všetky kroky, nasledujúci graf ukazuje logiku pohybov robota vzhľadom na pravdepodobnosti predpovedané modelmi.

Notebook tiež vysvetľuje, ako uložiť históriu pohybov robota s voľnou/ľavou/pravou/blokovanou pravdepodobnosťou predpovedanou modelom a ako vytvoriť dve videá FPV (First Person View) (s frekvenciou 1 fps a 15 fps) so superponovanou telemetriou a Údaje o akciách JetBot. Sú užitočné pri ladení, ladení radiča PID a vylepšovaní modelu.

Bavte sa a v prípade otázok mi dajte vedieť!:-)

Kód je k dispozícii na Github