Mona, môj osobný asistent animatronického robota: 4 kroky

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Mona, je to AI robot, ktorý používa Watson Ai na pozadí. Keď som začínal s týmto projektom, vyzeralo to oveľa komplikovanejšie, ako som si myslel, ale keď som na tom začal pracovať, veľmi mi pomohli kognitívne kurzy ibm (zaregistrujte sa tu), ak chceš, môžeš zúčastnite sa hodiny teraz, alebo jednoducho pokračujte podľa týchto pokynov

potrebujem, aby môj robot reagoval na nasledujúce veci

1. keď hovorím

2. keď chce hovoriť

3. keď chcem ovládať pohyby očí/ čeľuste … atď.

takže keď hovorím, malo by to previesť moju reč na text, potom by to malo byť skontrolované v databáze (entity / udalosti /) a potom musí odpoveď vysloviť ako text na reč.

takže potrebujete nasledujúce veci

pred použitím nižšie uvedených služieb si prosím vytvorte účet IBM Bluemix

1.text na reč

2. reč na text

3. Watsonov asistent

Krok 1: Príprava vašich vecí

1. Malina Pi.

2. Mikrofón

3. Reproduktor

Lebka (vytlačená 3D):

Súbory 3D tlače nájdete tu: kliknite sem

a predovšetkým by ste mali mať správne internetové pripojenie …………

Teraz použijem malinový pi na spracovanie všetkého.

Ak ste Raspberry Pi už používali, nainštalujte si Node.js a prejdite na ďalší krok.

V opačnom prípade nastavte Pi podľa nižšie uvedených pokynov:

Začíname s vašim Pi Raspberry Pi je podobný plnohodnotnému počítaču, čo znamená, že k nemu potrebujete monitor, myš a klávesnicu. Ak máte k dispozícii televízor, môžete svoj Pi pripojiť k televízoru pomocou kábla HDMI. Vo väčšine súprav Pi je na karte SD už nainštalovaný obrázok operačného systému Raspberry Pi. SD kartu musíte vložiť do Pi, zapnúť Pi a dokončením inštalácie operačného systému postupujte podľa pokynov na obrazovke. Ak máte problémy s nastavením Pi, môžete ich odstrániť tu.

Inštalácia balíkov Otvorte koncovú aplikáciu na Pi a spustením nasledujúcich príkazov nainštalujte najnovšiu verziu Node.js a npm (Node Package Manager).

Tieto balíky budete neskôr potrebovať na spustenie kódu.

curl -sL https://ibm.biz/tjbot-bootstrap | sudo sh

Pripojte mikrofón USB a reproduktor.

V závislosti od toho, ktorý zdroj zvukového výstupu používate s vaším Pi (HDMI, 3,5 mm audio konektor, Bluetooth, reproduktor USB), bude možno potrebné nastaviť konfiguráciu zvuku.

Zvukový konektor HDMI/ 3,5 mm Ak používate zvukový konektor HDMI alebo 3,5 mm, možno budete musieť nastaviť konfiguráciu zvuku. Ak to chcete urobiť, prejdite na terminál a otvorte raspi-config.

sudo raspi-config

Tým sa otvorí konfiguračná obrazovka Raspberry Pi.

Vyberte položku „Rozšírené možnosti“a stlačte kláves Enter, potom vyberte položku „Audio“a stlačte kláves Enter. Vyberte správny kanál pre výstupný zvuk. Ak ste k zvukovému konektoru pripojili externý reproduktor, mali by ste zvoliť 3,5 mm konektor.

USB reproduktor:

Ak máte zvuk USB, musíte aktualizovať súbor /usr/share/alsa/alsa.config a nastaviť zvuk USB ako predvolené zariadenie. Začnite spustením nasledujúceho príkazu, aby ste sa presvedčili, že je vaše USB pripojené a uvedené v zozname.

lsusb

Ďalej je potrebné zistiť číslo karty vášho USB audio.aplay -l

Poznamenajte si číslo karty priradené k vášmu USB zvuku.

Potom prejdite na súbor alsa.config a nastavte ho ako predvolený.

sudo nano /usr/share/alsa/alsa.conf

Hľadať

defaults.ctl.card 0

defaults.pcm.card 0

a aktualizujte číslo karty (tu 0) na číslo karty vášho USB zvuku.

Rôzne verzie systému Raspberry Pi OS môžu vyžadovať iné nastavenie. Ak máte problém s nastavením USB, vyskúšajte tento návod na riešenie problémov.

Krok 2: Kód Git-hub

Zdrojový kód je k dispozícii na github. Stiahnite si alebo naklonujte kód a spustením nasledujúcich príkazov z terminálu nainštalujte jeho závislosti.. Tu sú pokyny, ako klonovať úložisko z github, ak ste to predtým neurobili.

klon git

cd mona/recepty/konverzácia

npm nainštalovať

Pro tip: Ak sa vám pri inštalácii NPM zobrazí chyba, ktorá hovorí, že NPM sa nenašlo, mali by ste najskôr nainštalovať NPM do svojho počítača. Toto je príkazový riadok na inštaláciu NPM

sudo apt-get install npm

V tomto kroku vám pomôžeme získať prístup k rozhraniu API k trom konverzačným službám:

(1) Reč na text, (2) Watson asistent, (3) Prevod textu na reč.

Musíte skopírovať svoje poverenia pre všetky tieto služby. Vytvorte inštancie služieb Watson Assistant, Speech to Text a Text to Speech a poznamenajte si autentifikačné poverenia.

Importujte súbor workspace-sample.json

súbor do služby Watson Assistant a poznačte si ID pracovného priestoru.

Vytvorte si kópiu predvoleného konfiguračného súboru a aktualizujte ju pomocou poverení služby Watson a ID pracovného priestoru konverzácie.

$ sudo cp config.default.js config.js

$ sudo nano config.js

Krok 3: Spustite kód

Teraz ste pripravení hovoriť so svojim TJBotom!

Otvorte terminál a spustite nasledujúci príkaz:

sudo node Conversation.js

Konverzácia Watson používa zámery na označenie účelu vety.

Keď sa napríklad Mony spýtate „Predstavte sa, prosím“, zámerom je úvod.

V editore konverzácií môžete pridať svoje vlastné nové zámery, ale zatiaľ sme vás začali niekoľkými zámermi: Úvod.

Môžete povedať frázy ako „Watson, predstav sa, prosím“, „Watson, kto si“a „Watson, môžeš sa predstaviť“Vtip.

Môžete sa opýtať „Watson, prosím, povedz mi vtip“alebo „Watson, rád by som počul vtip“.

Úplný zoznam nájdete v obsahu workspace-sample.json

Použije sa upozornenie, aby Mona vedela, že s ním hovoríš.

Predvolené slovo pozornosti je „Watson“, ale môžete ho zmeniť v súbore config.js nasledovne.

Aktualizujte konfiguračný súbor a zmeňte názov robota v sekcii tjConfig: // nastavte konfiguráciu TJBot

exports.tjConfig = {

log: {level: 'verbose'},

robot: {meno: 'tee jay bot'}

};

„Meno“môžete zmeniť na čokoľvek, čo by ste chceli volať „Mona“. Navyše, ak zmeníte pohlavie na „ženský“, TJBot bude s vami hovoriť ženským hlasom! Užite si to!

je veľká šanca, že sa stala jedna z týchto dvoch vecí: (1) Zvukový výstup je nasmerovaný na nesprávny kanál (môžete to opraviť pomocou raspi-config), (2) Vaše zvukové moduly sú zablokované.

V takom prípade prejdite na /etc/modprobe.d/ a odstráňte blacklist-rgb-led.conf Potom spustite nasledujúci príkaz:

sudo update -initramfs -u

Reštartujte počítač a potvrďte, že moduly "snd" sú spustené príkazom "lsmod".

To by malo problém vyriešiť. lsmod