Rozpoznávač pohybu ruky: 5 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Prehľad

V tomto projekte vyrobíme rukavicu, ktorá dokáže rozpoznať niektoré základné pohyby rúk, pomocou MicroBitu a niekoľkých senzorov. Využijeme možnosti Bluetooth na MicroBit v spojení s aplikáciou pre Android a webovým serverom na trénovanie modelu strojového učenia na identifikáciu pohybov ruky.

Začíname

Väčšina úsilia vynaloženého v tomto projekte je na softvérovej stránke a všetok kód potrebný na spustenie tohto projektu je k dispozícii na GitHub. Základ kódu obsahuje 3 komponenty, kód na generovanie súboru HEX pre MicroBit, kódová základňa aplikácie pre Android, ktorá je vo veľkej miere založená na aplikácii MicroBit Blue od MicroBit Foundation, s úpravami vykonanými pre tento konkrétny prípad použitia, a webový server s kódom pre školenie modelu založeného na Tensorflow na identifikáciu pohybov rúk.

Ďalej uvidíme, ako si rukavicu zostaviť a zavesiť pomocou aplikácie a webového servera.

Zásoby

• 1 BBC Microbit
• 1 držiak batérie s 2 batériami AAA
• 1 rukavica
• Sada prepojovacích laniek, krokosvoriek
• Flexibilný snímač
• Silový senzor
• Suchý zips
• Elektrická páska
• Telefón s Androidom
• PC/notebook

Krok 1: Krok 1: Nastavenie MicroBitu a batérie

• Začnite pripevnením držiaka batérie na kus suchého zipsu, ako je to znázornené na prvom obrázku. Pomocou elektrickej pásky pevne pripevnite držiak batérie k popruhu na suchý zips.
• Potom pomocou elektrickej pásky vytvorte slučku tak, aby bola lepivá na oboch stranách, a prilepte ju na vrch batérie.
• Prilepte MicroBit na slučku pásky a pevne pripevnite MicroBit k držiaku batérie, ako je znázornené na druhom obrázku.

Krok 2: Pripojte senzory

• Podľa schémy zapojenia zobrazenej na obrázku pripojte svoj flexibilný snímač na kolík 1 MicroBit a snímač sily na pin 0 na MicroBit.
• Zaistite senzory na rukavici elektrickou páskou, ako je znázornené na obrázkoch.

Krok 3: Dokončenie hardvéru

• Koncami remienkov na suchý zips vytvorte očko a prevlečte očko cez prsty rukavice, ako je znázornené na obrázku.
• Drôty na rukavici môžete zaistiť pomocou drôtených úchytiek, aby ste zabránili ich prílišnému pohybu.

V ďalšej časti sa pozrieme na to, ako nastaviť softvér.

Krok 4: Nastavenie softvéru

Spárovanie telefónu s MicroBitom

1. Ak chcete spárovať telefón, najskôr sa uistite, že je v telefóne zapnuté bluetooth.
2. Zapnite MicroBit a stlačte a podržte tlačidlá A a B. Súčasne stlačte a uvoľnite tlačidlo reset, pričom stále držte tlačidlá A a B. Mikrobit by teraz mal vstúpiť do režimu párovania.
3. V telefóne nájdite svoj MicroBit v zozname zariadení bluetooth, kde zvyčajne pridávate nové zariadenie Bluetooth, a začnite párovať. Na vašom MicroBit uvidíte šípku smerujúcu na tlačidlo A. Keď toto stlačíte, MicroBit zobrazí sériu čísel, čo je párovací kód, ktorý musíte zadať do telefónu. Akonáhle do telefónu zadáte kód a vyberiete párovanie, na MicroBit by sa malo zobraziť začiarknutie.
4. Na zariadení MicroBit stlačte tlačidlo reset.

Nastavenie softvéru

Postupujte podľa sprievodcov ReadMe v každom podpriečinku úložiska GitHub, aby ste nastavili projekt aplikácie pre Android v systéme Android Studio, zostavili a nahrali súbor HEX do vášho zariadenia MicroBit a spustili webový server na spustenie modelov strojového učenia.

Krok 5: Použitie

Webový server

Otvorte terminál v adresári projektu webového servera a spustením príkazu „python server.py` spustite server podľa pokynov v programe ReadMe na inštaláciu závislostí

Aplikácia pre Android

1. Vytvorte a vytvorte APK pre aplikáciu pre Android zo systému Android Studio. Spustite aplikáciu po spárovaní telefónu s MicroBitom (pozri predchádzajúci krok).
2. Na stránke akcelerometra môžete nastaviť adresu URL webového servera pomocou ponuky nastavení v pravom hornom rohu. Uistite sa, že ste to zmenili na IP svojho webového servera.
3. Počkajte, kým sa údaje z akcelerometra začnú zapĺňať z MicroBitu. Uvidíte, ako sa hodnoty budú meniť s rôznou frekvenciou. Frekvenciu zmeníte stlačením B na MicroBit. V ideálnom prípade môžete použiť hodnotu frekvencie 10 (ktorá odoberá hodnoty každých 10 ms)
4. Akonáhle sú údaje načítané, pomenujte svoje gesto pomocou textového poľa označeného „Gesto:“a stlačte tlačidlo záznamu. Hneď ako stlačíte tlačidlo záznamu, opakovane pohybujte rukou, kým sa tlačidlo znova neaktivuje.
5. Opakujte krok 3 pre nahrávanie viacerých gest.
6. Stlačením tlačidla vlaku spustíte školenie modelu na serveri. Akonáhle je tréning ukončený (asi 15 sekúnd), môžete pokračovať v predpovediach.
7. Stlačte tlačidlo predpovedania a vykonajte pohyb/gesto. Aplikácia sa ho pokúsi čo najlepšie priradiť k jednému z natrénovaných pohybov.