Rukavice na prevod gesta na reč/text: 5 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Myšlienka/posunutie za realizáciou tohto projektu bolo pomôcť ľuďom, ktorí majú problémy s komunikáciou pomocou reči a komunikácie pomocou gest ruky alebo známejšie ako americký znakový jazyk (ASL). Tento projekt môže byť krokom k tomu, aby sa týmto ľuďom poskytla príležitosť spolupracovať s inými ľuďmi, ktorí nerozumejú znakovej reči, v prostredí spolupráce. Tento projekt im tiež umožní prednášať na verejnosti bez použitia skutočného ľudského prekladača. Na začiatku som sa pokúšal odhaliť iba niektoré jednoduchšie gestá, ako sú abecedy A, B, I atď. A priradil som tiež určité gestá k bežným slovám/pozdravom, ako sú „ahoj“, „dobré ráno“atď.

Krok 1: Zostavenie obvodu

Krok 2: Podrobnosti o projekte

Tento projekt obsahuje nositeľnú rukavicu so 4 flexibilnými senzormi zapichnutými/zabudovanými v rukavici - jeden pre malé, stredné, ukazováky a palec. Flex senzor nebol použitý pre prstencový prst z dôvodu obmedzení dostupnosti analógových vstupných pinov na Arduino Uno R3 a všeobecne z dôvodu nedostatku nezávislého pohybu zobrazeného prstom v posunkových jazykoch. Používa sa tiež akcelerometer MMA8452Q, ktorý je prilepený na zadnej strane dlane na meranie orientácie ruky. Vstup z týchto senzorov sa analyzuje a používa sa na rozpoznanie gesta. Akonáhle je gesto zaznamenané, príslušný znak/správa sa uloží do premennej. Tieto znaky a správy sa stále spájajú, kým neurobíte určité vopred určené gesto, ktoré naznačuje dokončenie vety. Akonáhle je toto špeciálne gesto detekované, uložený vetný reťazec je odoslaný na Raspberry Pi cez USB kábel Arduino. Raspberry Pi potom odošle prijatý reťazec do Amazon Cloud Service s názvom Polly, aby skonvertoval prijatú vetu v textovom formáte na rečový formát a potom prijatú reč streamuje na reproduktore pripojenom k Raspberry Pi pomocou kábla AUX.

Tento projekt bol len dôkazom konceptu a s lepším vybavením a plánovaním a lepšie kalibrovaný na detekciu mnohých ďalších gest a pohybov ruky. V súčasnej dobe je do tohto projektu naprogramovaná iba obmedzená funkčnosť, ako je napríklad základná detekcia gest a výstup textu na reč.

Krok 3: Kód

Krok 4: Kroky

1. Pripojte flexibilné senzory a akcelerometer MMA8452Q k Arduinu podľa dodaného schémy zapojenia.

2. Vyhoďte program Final_Project.ino (nachádza sa v súbore Arduino_code.zip) do Arduina.

3. Pripojte Arduino k Raspberry Pi pomocou USB kábla. (Typ kábla A/B).

4. Zapnite Raspberry Pi, skopírujte súbor Raspberry_pi_code.zip do Raspberry Pi a rozbaľte ho. Pripojte reproduktor k Raspberry Pi.

5. Skopírujte si poverenia účtu AWS, t. J. Aws_access_key_id, aws_secret_access_key a aws_session_token, do súboru ~/.aws/credentials. Tento krok je potrebný na komunikáciu s cloudom AWS a používanie služieb AWS.

6. Spustite program seria_test.py, ktorý sa nachádza v extrahovanom priečinku v kroku 4.

7. Teraz urobte gestami, aby ste vytvorili vetu, a potom urobte špeciálne gesto (Prsty a dlaň držte vystreté a v jednej línii s dlaňou smerujúcou od vás a potom zápästím otáčajte smerom dole tak, aby teraz mala vaša dlaň je tvárou k vám a končeky prstov smerujú nadol k vašim nohám.), čím signalizuje dokončenie vety.

8. Neustále kontrolujte v termináli užitočné informácie.

9. A počúvajte prevedenú reč streamovanú z reproduktora.

Krok 5: Referencie

1.

2.

3.

4.