IoT: Ovládajte objektív HoloLens obočím (EMG): 5 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:58

Tento projekt bol súčasťou projektu NASA SUITS University of Colorado Boulder, ktorý bol predstavený a testovaný v NASA JSC v apríli 2019. V rámci tohto ročného projektu som bol vedúcim projektu vývoja hardvéru a toto bol jeden z mojich príspevkov. Prečítajte si viac o výzve NASA SUITS tu.

V rámci tohto projektu som chcel umožniť komukoľvek (v tomto prípade astronautom EVA) prepojenie s Heads-Up-Display (HUD) nasadeným v zariadení Microsoft HoloLens bez použitia vstavaných gest alebo hlasových vstupov. Tento cieľ som vyriešil z hľadiska prístupnosti, chcel som vyvinúť periférne/nositeľné zariadenie, ktoré by astronautom EVA umožnilo komunikovať so svojim displejom bez toho, aby zaberali komunikáciu s pozemným ovládaním, a vzhľadom na ich vysoko natlakované rukavice je ovládanie gestami nerozumné. Aj keď je to doména, s ktorou sa trochu nevyznám, vidím tiež, že táto periféria je užitočná pre osoby so zdravotným postihnutím, čo im umožňuje používať HoloLens alebo iné zariadenia AR/VR a vzdať sa prepojovacích vstupov, ktoré sú vylučujúce alebo skľučujúce.

Aj keď je zoznam položiek pre tento projekt samotný vylučujúci (HoloLens je veľmi drahý!), Periférne zariadenie je možné použiť s inými zariadeniami AR/VR.

Ak máte nejaké otázky, chcete držať krok s mojou prácou alebo sa len pohrávať s nápadmi, urobte to na mojom Twitteri: @4Eyes6Senses.

Zásoby

Microsoft HoloLens (alebo iné zariadenie AR/VR)

Fotón častíc

Svalový senzor MyoWare - Senzor MyoWare je možné nahradiť inými oddeľovacími doskami EMG. Ak si nie ste istí, kde je EMG, odporúčam vám prečítať si o tom viac tu

Biomedicínske senzorové podložky

Unity (zadarmo)

Nejaké skúsenosti s vytváraním projektov v jednote

Drôt

Krok 1: Pripojenie zariadenia MyoWare k fotónu častíc

Pripojenie fotónu častíc k doske MyoWare je pomerne jednoduché. V tomto kroku budete musieť spájkovať spojenia medzi fotónom častíc a doskou MyoWare. Zaistite pevné spojenie, aby sa pri nosení zariadenia káble neprerušili. Aby ste sa vyhli prestávkam, odporúčam káble pred zapájaním do fotónu opletať.

- Zapájajte drôt do portu „+“na doske MyoWare a potom druhý koniec kábla spájkujte s kolíkom „3v3“fotónu.

- Zapájajte drôt do portu „-“na doske MyoWare a druhý koniec kábla spájkujte s kolíkom „GND“fotónu.

- Zapájajte drôt do portu „SIG“na doske MyoWare a druhý koniec kábla zapojte do kolíka Photon „A0“.

Krok 2: Nahranie kódu do fotónu častíc

Pomocou IDE časticového fotónu nahrajte súbor.ino. Umiestnite dosku MyoWare na svalovú skupinu a skontrolujte hodnoty, aby ste sa presvedčili, že vaše zariadenie funguje. Pri pohľade na kód si všimnete, že je tu už nastavená „prahová“premenná. Táto premenná je minimálnou hodnotou, ktorú MyoWare prečíta z môjho svalu, keď úplne zdvihnem obočie. Premennú som tiež nastavil na „600“, pretože mi to umožnilo normálne konverzovať počas nosenia MyoWare bez vytvárania falošných pozitív (náhodné spustenie), možno sa budete chcieť s hodnotami pohrať, kým nenájdete požadovaný prah pre svoje použitia.

Krok 3: Umiestnenie MyoWare

Pre náš projekt NASA SUITS som vybral umiestnenie dosky MyoWare nad obočie. Inšpirovalo ma umiestniť MyoWare tam, keď som sa pozrel na projekt „'Sup Brows' od Adafruit. Po niekoľkých testoch vysvitlo, že obočie je skvelým miestom pre tento konkrétny projekt. Je to skvelé miesto, pretože senzory by neboli ovplyvnené neustálymi pohybmi svalov cez ruky, nohy a trup, ktoré astronauti EVA robia počas výstupov do vesmíru.

Krok 4: Pripojenie systému MyoWare k jednotke

Teraz je čas na posledný krok, spojme MyoWare s Unity! V tomto návode je zahrnutý skript, ktorý budete musieť zahrnúť do svojho projektu Unity. Najprv však budete musieť v kóde zmeniť niekoľko vecí. Najprv budete musieť do svojho projektu pridať doplnok JSON Object Unity. Ďalej budete musieť pridať svoje vlastné ID zariadenia a prístupový token do riadku 19: particleURI = "https://api.particle.io/v1/devices/[Vložte ID svojho zariadenia]/Ďalej? Access_token = [Vložte svoje prístupový token]". ID svojho zariadenia môžete získať z IDE častíc, podľa obrázku 2, kliknite na kartu svojich zariadení (červené pole) a pod názvom zariadenia vyhľadajte svoje ID (modré pole). Ďalej, ak chcete nájsť svoj prístupový token, kliknite na kartu nastavení v IDE.

Krok 5: Hotovo

Po dokončení projektu Unity budete mať HoloLens riadený EMG!

Ak máte nejaké hĺbkové otázky, chcete sa dozvedieť viac o posilňovaní ľudí, chcete držať krok s mojou prácou alebo len tak prehodiť nápady, urobte to na mojom Twitteri:

Ak máte záujem pracovať s naším tímom na výzve NASA SUITS 2019 - 2020, pošlite mi e -mail na adresu:

Osobitné poďakovanie patrí modelu na prvom obrázku, Darrenovi, ktorý tiež testoval dizajn v NASA. Ďalej ďakujem svojmu programátorskému partnerovi za projekt AJ, ktorý toho veľa umožnil.