EWON Raspberry Pi Powered Home Robot: 7 Steps (with Pictures)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:56

Od SharathnaikSharathnaik.com Nasledovať viac od autora:

O: Inžinierstvo a dizajn Viac o Sharathnaik »

Nedávno som sa pristihol, že kvôli aktuálnej situácii sledujem veľa sérií Netflix, dúfam, že ste všetci v bezpečí, a videl som, že bola vydaná sezóna 5 hry Black Mirror. Antologický seriál, ktorý sa točí okolo skupiny osobných životov ľudí a toho, ako technológie manipulujú s ich správaním.

A jedna z epizód, ktoré ma upútali, bola Rachel, Jack a Ashley Too. Jednou z hlavných postáv tejto série je domáci robot s názvom Ashley O a ten robot má okolo seba veľa postáv a sám som si povedal, že by som ho mal postaviť. Je to dobrý projekt, ako začať s programovaním, ak nie, tak aspoň Môžem ho naprogramovať tak, aby sa smial na mojich vtipoch.!

Čo / Kto je Ewon? Čo to dokáže?

Takže skôr, ako som začal pracovať na tomto projekte, stanovil som niekoľko základných pravidiel, ktoré treba dodržiavať. Tento projekt musel byť

• Jednoduché na vyskúšanie pre každého
• Nielen, že ste roztomilý, ale aj užitočný, aby neskončil na poličke
• Modulárny, takže môžete stále pridávať nové funkcie.

Po nastavení tohto pravidla som sa rozhodol použiť súpravu Google Assistant SDK. Táto súprava SDK ponúka mnoho funkcií, ktoré som hľadal, a ak vás Ewon omrzí, môžete ho vždy použiť ako zariadenie Google Home a robiť to, čo robí domov Google.

To, čo bude Ewon robiť, je pridanie postavy do asistenta Google. To je prejav emócií a reakcia na to, čo používateľ hovorí. Teraz to nie je len hlas, ktorý počujete, ale tiež uvidíte, ako reagovať.

POZNÁMKA: Tento pokyn je vo vývoji. Čoskoro nahrám všetky relevantné súbory. Ďakujem

Krok 1: Potrebné diely pre Ewon

ELEKTRONIKA

• Malinový koláč
• Servo SG90 (x4)
• Servo MG995 - štandardné (x2)
• 16-kanálový ovládač serva PCA9685
• USB zvuková karta
• Mikrofón
• Reproduktory (Postačí každý malý reproduktor, niečo také)
• Konektory konektora male a female pin
• Breadboard
• Obrazovka Nextion

SPOJOVACIE PRVKY A LOŽISKA

• M3*10 mm (x10)
• M3*8 mm (x10)
• Orechy M3 (x20)

• Ložisko

  • OD: 15 mm ID: 6 mm Šírka: 5 mm (x2)
  • OD: 22 mm ID: 8 mm Šírka: 7 mm (x2)

OSTATNÉ MATERIÁLY

• Standoff

  • 40 mm (x4)
  • 30 mm (x4)

NÁSTROJE

3D tlačiareň

Krok 2: Porozumenie programu Ewon a programovaniu

Predtým, ako začnem s aspektom programovania, dovoľte mi stručne vysvetliť blokovú schému obvodov Ewon.

RPI (Raspberry pi) je mozog systému. Servo ovládač ovládaný pomocou RPI poháňa servo. Displej ovládaný RPI so sériovou komunikáciou na zobrazenie emócií a nakoniec mikrofón a reproduktory používané na komunikáciu s Ewonom. Teraz, keď vieme, čo hardvér robí, začnime programovať Ewon.

Inštalácia súpravy Google Assistant SDK

Vysvetlím dva dôvody, prečo som plánoval používať Asistenta Google:

• Chcel som, aby Ewon bol nielen zábavný, ale aj užitočný robot. Google Assistant SDK už má veľa zdrojov, ktoré môžete použiť na zvýšenie funkčnosti Ewonu.
• Môžete tiež použiť akcie na toku Google a v dialógovom okne, aby ste Ewonovi poskytli možnosť chatovať s vopred definovanými odpoveďami. Zatiaľ sa zameriame iba na základnú súpravu SDK.

Začnime inštaláciou súpravy Google Assistant SDK. To by nemalo byť ťažké, pretože existuje veľa zdrojov, ktoré vám pomôžu nastaviť súpravu Google Assistant SDK na RPI. Tento tutoriál môžete nasledovať:

Výučba:

Po skončení vyššie uvedeného postupu by ste mali byť schopní kliknúť na klávesnicu Enter a hovoriť s asistentom. To je všetko o inštalácii súpravy Google Assistant SDK.

Ako to mam pomenovat Ewon?

Hej Google! Práve to sa používa na to, aby ste mohli začať hovoriť s asistentom Google, a bohužiaľ Google nepovoľuje použiť žiadne iné vlastné prebudené slovo. Pozrime sa teda, ako to môžeme zmeniť, aby sa asistent Google spustil, keď niekto zavolá na Ewon.

Snowboy: vysoko prispôsobiteľný nástroj na zisťovanie horúcich slov, ktorý je integrovaný v reálnom čase kompatibilný s Raspberry Pi, (Ubuntu) Linux a Mac OS X.

Horúce slovo (tiež známe ako budiace slovo alebo spúšťacie slovo) je kľúčové slovo alebo fráza, ktorú počítač neustále počúva ako signál na spustenie ďalších akcií.

Začnime inštaláciou Snowboy na RPI. Nezabudnite aktivovať virtuálne prostredie a nainštalovať Snowboy tak, ako ste to urobili pri inštalácii Assistant SDK. Všetko, čo odtiaľ nainštalujeme, musí byť nainštalované vo virtuálnom prostredí. Inštalácia Snowboy môže byť trochu zložitá, ale tento odkaz by vám mal pomôcť s jeho bezproblémovou inštaláciou. Odkaz:

Tu je zhrnutý postup inštalácie, ak sa vyššie uvedený odkaz zamotá alebo inštalácia zlyhá.

$ [sudo] apt-get install libatlas-base-dev swig $ [sudo] pip install pyaudio $ git clone https://github.com/Kitt-AI/snowboy $ cd snowboy/swig/Python3 $ make $ cd.. /.. $ python3 setup.py build $ [sudo] python setup.py install

Po inštalácii spustite demo súbor [nájdený v priečinku - snowboy/examples/Python3/], aby ste zistili, či všetko funguje perfektne.

Poznámka: Názov svojho robota môžete tiež ľahko zmeniť na niečo iné. Jediné, čo musíte urobiť, je navštíviť stránku https://snowboy.kitt.ai/ a natrénovať si vlastné kľúčové slovo a potom ho uložiť do rovnakého priečinka ako ewon.pmdl.

Dokáže Ewon porozumieť emóciám?

Teraz, keď má Ewon meno, budem ho používať namiesto toho, aby som ho nazýval robotom. Dobre, emócie, krátke odpovede nie, Ewon nemôže porozumieť emóciám, takže tu urobíme to, že Ewon detekuje emócie v našej reči pomocou kľúčových slov a potom prehrá príslušný výraz tváre, ktorý je s nimi spojený.

Aby som to dosiahol, urobil som jednoduchý skript analýzy sentimentu. Existuje 6 rôznych tried emócií.

Šťastný, smutný, hnev, strach, znechutenie a prekvapenie. Toto sú hlavné triedy emócií a každá z nich má zoznam kľúčových slov spojených s emóciami. (napríklad dobrý, milý, vzrušený, všetci podliehajú šťastným emóciám).

Kedykoľvek teda vyslovíme akékoľvek z kľúčových slov v triede emócií, spustí sa zodpovedajúca emócia. Keď teda poviete „Ahoj Ewon!“počkajte, kým Ewon prehovorí a ja pokračujem v odpovedi „Dnes je pekný deň!“, vyhľadá kľúčové slovo „Pekné“a spustí zodpovedajúcu emóciu „Šťastný“, ktorá spustí výraz tváre pre Šťastného.

Sú tie uši na Ewone?

Ďalším krokom by bolo použitie spustenej emócie na spustenie príslušného výrazu tváre. Pri Ewone výraz tváre zaznamenáva, že pohybuje ušami a krkom pomocou serva a zmenou displeja zmení pohyby očí.

Po prvé, servá, na ich spustenie je to celkom jednoduché, môžete podľa tohto tutoriálu nastaviť servo knižnicu Adafruit. Odkaz:

Potom priradíme všetkým servám maximálnu a minimálnu hodnotu. To sa deje ručným pohybom každého serva a kontrolou jeho limitov. Môžete to urobiť, keď zostavíte Ewon.

Oči pre Ewona

Pre oči používam displej Nextion, ktorý má veľa obrázkov ako nižšie.

Je to sekvencia obrázkov, ktorú som navrhol vo Photoshope a ktorá pri sekvenčnom prehrávaní vytvorí animáciu. Podobná sekvencia bola vytvorená pre všetky emócie. Teraz, aby ste zobrazili akékoľvek emócie, stačí zavolať konkrétnu sekvenciu obrázkov, ktorá tvorí animáciu. Súbory sa nachádzajú v priečinku „Zobraziť súbory“, odkaz na stiahnutie nižšie.

Konečne

Keď to všetko spojíme, keď skript spustí šťastnú emóciu, spustí sa funkcia happy a servo sa presunie do už nastavených uhlov a displej prehrá animáciu šťastného oka. Takto teda dosiahneme „pochopenie“ľudských emócií. Táto metóda nie je najlepšia a existujú situácie, keď kľúčové slová nepôsobia rovnako ako preddefinované, ale zatiaľ to funguje dostatočne dobre a vždy môžete pridať ďalšie kľúčové slová na zvýšenie presnosti detekcie. Na dosiahnutie lepších výsledkov to môže byť navyše nahradené oveľa vyškolenejším modelom analýzy emócií, ako je model analýzy emócií Paralleldots. Ale keď som to vyskúšal, došlo k mnohým oneskoreniam, ktoré spôsobili, že Ewon reagoval pomalšie. Možno niečo také bude mať Ewon verzia 2.0.

Toto je ODKAZ na všetky súbory potrebné na spustenie EWON. Stiahnite si súbor a postupujte podľa nasledujúcich krokov:

• Rozbaľte súbor a umiestnite tento priečinok (Ewon) domov/pi/
• Pridajte ID zariadenia a ID modelu do súboru main.py. ID sa získa pri inštalácii súpravy Google Assistant SDK.
• Otvorte príkazový riadok a spustite zdroj nasledujúcich príkazov:

source env/bin/activatepython main.py models/Ewon.pmdl

Krok 3: Tlač tela

3D súbory nájdete tu:

Teraz, keď sme všetci vybavení mozgom Ewonu, je načase vytlačiť jeho telo. Je potrebné vytlačiť 18 unikátnych dielov, väčšina z nich je dosť malých a má celkový čas tlače približne 15-20 hodín. (okrem prípadov).

Použil som bielu PLA s 50% výplňou a výškou vrstvy 2 mm. Ak je to potrebné, môžete tieto hodnoty zmeniť, malo by to fungovať dobre, ale uistite sa, že malé časti majú 100% výplň.

Po vytlačení súborov môžete použiť brúsny papier alebo ručný pilník a vyčistiť vytlačené časti, najmä spoje, v ktorých sa diely navzájom prechádzajú. Vyrovnaním kĺbov bude mechanizmus hladký a bude servu poskytovať menší odpor. Tento proces môže trvať tak dlho, ako chcete, ako sa môžete stratiť pri pokuse o to, aby vytlačené diely vyzerali perfektne.

Doplňujúce poznámky: Otvory v 3D tlačených častiach môžete znova vyvŕtať pomocou 3 mm bitu. Všetky otvory majú rovnaké rozmery. To uľahčí skrutkovanie matíc neskôr v zostave.

Krok 4: Spojenie Ewona

Predtým, ako začneme s montážou, je na tlačených častiach potrebných niekoľko úprav. Súbory s názvom odkaz na servo musia byť vybavené odkazmi na servo, ktoré sa dodávajú so servom, aby sa 3D tlačené odkazy dobre spojili so servom.

Montáž Ewonu by mala byť priama. Prikladám obrázky, ktoré môžete sledovať.

Doplňujúce poznámky: Dbajte na to, aby ste žiadnu skrutku alebo skrutku neutiahli príliš, pretože by mohlo dôjsť k zlomeniu a opotrebovaniu vytlačených častí.

Krok 5: Zapojenie Ewonu

Sme v poslednom kroku, aby Ewon ožil. Tu je schéma zapojenia komponentov spolu s obrázkami znázorňujúcimi pripojenie.

• Servo ovládač je pripojený k pinom I2C, ktoré sú SDA a SCL s RPI.
• Displej je pripojený k pinom RX a TX RPI
• Mikrofón a reproduktory sú pripojené k zvukovej karte USB, ktorá je k portu RPI pripojená prostredníctvom portu USB.

Varovanie: Dávajte si pozor na skrátenie RPI. Dvakrát skontrolujte všetky svoje pripojenia a uistite sa, že ste neurobili žiadne chyby. Všetko príslušenstvo, ktoré je reproduktor, ovládač serva a displej, je napájané samostatnou 5 -voltovou batériou a nepoužíva radu Raspberry Pi 5v. Raspberry pi slúži iba na odosielanie údajov k príslušenstvu, ale nie na jeho napájanie.

Krok 6: Ahoj Ewon! Počuješ ma?

Pripojili sme teda všetko naše príslušenstvo a nainštalovali všetky potrebné knižnice. Ewon môžete spustiť spustením skriptu Shell pomocou./run Ewon.sh Ale čo je to.sh skript? Ewon používa mnoho rôznych knižníc s rôznymi skriptmi (Google Assistant SDK, Snowboy, Adafruit atď.). Všetky skripty sú umiestnené v príslušných priečinkoch. (Môžeme presúvať všetky súbory na rovnakú cestu a mať všetky skripty usporiadané, ale v súčasnosti niektoré knižnice nepovoľujú presúvanie zdrojových súborov, takže ich zatiaľ ponecháme na ich príslušných miestach).sh je shell skripty, ktoré spúšťajú všetky tieto skripty jeden po druhom z každého umiestnenia, takže nemusíte ručne prechádzať na každé miesto a spúšťať skripty. To uľahčuje zvládnutie všetkých príkazov.

Po spustení skriptu Shell povedzte „Hej, Ewon!“a mali by ste vidieť, že vás Ewon začne počúvať. Teraz môžete použiť Ewona ako asistenta Google, hovoriť s ním a uvidíte, ako Ewon mení výrazy z toho, čo hovoríte. Skúste niečo ako „Ahoj Ewon! Dnes som smutný “a vidíte, že Ewon je s vami smutný. Požiadajte Ewona o vtip a uvidíte, ako sa na vtipu zasmeje.

Krok 7: Čo bude ďalej?

Ewon tu nekončí. Ewon má teraz spôsob, ako detekovať a prejavovať emócie, ale dokážeme to urobiť oveľa viac. Toto je len začiatok.

V nasledujúcej aktualizácii budeme pracovať na tom, ako to urobiť

• Ewon detekuje tváre, sleduje vašu tvár a pohybuje sa spolu s vašou tvárou.
• Pridáme zvukové efekty, ktoré dodajú postave extra hĺbku.
• Pridajte mobilitu, aby sa Ewon mohol pohybovať spolu s vami.

Poznámka: Vzhľadom na súčasnú situáciu je veľmi ťažké získať diely pre projekt. To ma prinútilo zmeniť dizajn a funkčnosť vzhľadom na myšlienky, ktoré som mal v inventári. Hneď ako sa mi však dostanú do rúk všetky diely, aktualizujte projekt vyššie.

Aktualizácie:

• Vykonal niekoľko zmien v kóde, odstránil skript shellu.
• Pridané obdĺžnikové telo pre EWON.