Osobný anglický tréner - hlasový asistent AI: 15 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:58

Tento projekt pomôže študentom, ktorí sa pripravujú na akúkoľvek jazykovú skúšku, kde sa môžu školiť interakciou so Snips AI.

Krok 1: Príbeh

Prečo sme to vytvorili?

Z mojej osobnej skúsenosti som videl veľa ľudí, ktorí sa pripravovali na rôzne jazykové testy ako GRE, TOEFL, IELTS. Potrebujú osobu, ktorá by im pomohla pri zapamätaní si a porozumení slov. Všeobecne platí, že keď sa človek pripravuje na takéto skúšky, potrebuje osobu, aby ich skontrolovala a opravila, ak urobia chybu. S týmto riešením dokážeme znížiť pracovnú silu tým, že použijeme hlasového asistenta.

Krok 2: Zostavenie hardvéru

V prvom rade by som chcel poďakovať SNIPS a SEEED za podporu tohto projektu pomocou úžasnej vývojovej súpravy Snips Voice Interaction Development Kit (Base Kit). Pri použití tejto dosky som sa cítil skutočne informatívny a bol som schopný dosiahnuť niektoré z komplexných projektov integrovaných do PCB.

Základnú súpravu Snips Voice Interaction Base Kit môžete kúpiť za 115 dolárov a Snips Voice Interaction Satellite Kit za 85 dolárov

Krok 3: Začíname so systémom SNIPS

Skôr ako začnete, preskúmajme, čo budete potrebovať.

• Raspberry Pi 3B/B+ (odporúčané) alebo Pi 2 Model B (podporované).
• Kábel Micro-USB a napájací adaptér Micro-USB pre Raspberry Pi.
• Karta Micro SD (minimálne 8 GB) - Na spustenie je potrebný operačný systém. Môžete si stiahnuť Raspbian Stretch a použiť príručky pre Mac OS, Linux a Windows na webovej stránke Raspberry Pi.
• Klávesnica a myš USB a externý monitor HDMI - odporúčame mať poruke aj klávesnicu a myš USB a monitor HDMI.
• Pripojenie na internet (ethernet alebo WiFi)

Základná súprava Snips Voice Interaction

Súpravy na vývoj hlasových interakcií Snips umožňujú používateľom začať s vývojom hlasových rozhraní a ľahko integrovať hlasovú platformu Snips AI s hardvérom. Na zariadení sa spúšťajú úryvky, čo znamená, že všetky vaše hlasové príkazy a údaje sú spracovávané lokálne, a nie odosielané do cloudu. Výsledkom tohto spracovania na zariadení je úplne bezpečný offline hlasový asistent, ktorý uchováva vaše osobné údaje v súkromí, ako by mali.

Sada Voice Interaction Base Kit vám umožní spustiť celú hlasovú platformu Snips AI. Poháňaný Raspberry Pi 3 Model B+ a ReSpeaker 2-Mics Pi HAT, môže fungovať ako váš domáci inteligentný reproduktor. Spolu so súpravou je k dispozícii reproduktor, snímač teploty a vlhkosti Grove (SHT31), relé Grove a kolíková doska na zavesenie na stenu alebo vytvorenie šikovného stojana.

Ale to nie je všetko! Satelitná súprava Voice Interaction rozšíri vašu základňovú stanicu tak, aby sa dostala do každej miestnosti vášho domu, a umožní vám komunikovať s hardvérom podľa toho, kde zadávate príkazy!

Táto súprava obsahuje dosku Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - relé, Grove - snímač teploty a vlhkosti (SHT31), reproduktor 6 Ohm 2W, kartu MicroSD, napájací adaptér s konektorom Micro USB, kábel Grove x 2, akrylová základňa panel.

Kroky montáže: (Obsah zo SNIPS) Nasledujúci obrázok je prehľad častí zostavy.

Tu sú montážne diely namontované na základnom paneli.

Potom sú všetky elektronické diely namontované na dosku.

Potom na vrch Grove -Relay namontujte ochranný kryt z akrylátu.

Tieto 2 diely sú použité na výrobu súpravy do stojana na stôl.

Nakoniec ste pripravení hrať so Snipsom.

Súprava ponúka dva spôsoby umiestnenia. Môže byť umiestnený buď na vodorovnom povrchu ako stojan, alebo môže byť zavesený na stenu pomocou drôtov alebo závitu. Buďte opatrní s relé, keď je súprava zapnutá, pretože pracovné napätie bude vysoké.

POZNÁMKA: Máme tiež satelitnú súpravu Snips Voice Interaction Satellite Kit, ktorá má namiesto Raspberry Pi 3B+ nulu Raspberry Pi.

Krok 4: Rozhranie s AI Snips (základný projekt)

• Napájajte súpravu pomocou predvoleného sieťového adaptéra v súprave alebo použite adaptér 5V-2A DC s konektorom Micro USB.
• Ďalším krokom je inštalácia asistenta Snips do Raspberry Pi. Aby ste ušetrili čas pri nastavovaní, na karte MicroSD v súprave bol zobrazený plne funkčný obraz systému, čo znamená, že asistent Snips je pripravený na vaše spúšťacie slová.
• Odporúčame vám, aby ste si preštudovali podrobného sprievodcu inštaláciou na adrese: https://docs.snips.ai/getting-started/quick-start… a naučili sa nástroj sam v príkazovom riadku.
• Spustite asistenta vyslovením príkazu „Hey-snips“a postupujte podľa príkazu:

Video s ukážkou predinštalovaného v základnej súprave Snips Voice Interaction nájdete nižšie.

Krok 5: Rozhranie s AI Snips (Project AI)

Takže takto to funguje. Najprv použijeme kľúčové slovo na spustenie rozpoznávania výstrižkov. Rozumie vete pomocou Snips NLU a určuje zámer. Ďalej pomocou zámeru extrahujte sloty resp. Pomocou akčného kódu naprogramujeme reakciu AI s príslušnými slotmi.

Krok 6: Vytvorenie aplikácie a zámerov

• Vytvoriť asistenta. V mojom prípade som vytvoril asistenta s menom JARVIS as heslom JARVIS.
• Vytvorte si vlastnú aplikáciu alebo pre začiatočníkov použite aplikáciu z knižnice.
• Vytvoril som aplikáciu s názvom Slová
• Vytvorte zámer a začnite trénovať AI. To hrá hlavnú úlohu v tom, aby bola vaša AI odolná. Trénujte to so všetkými možnými vstupmi.
• Vytvorte priestor na identifikáciu slov. Umiestnite slot na očakávanú frázu vety. V mojom prípade je zadané slovo názov priestoru a je zvýraznené modrou farbou.
• Akonáhle je to hotové, váš vlastný ASR bude pripravený. Skúste to so vstupmi. Odpoveď nájdeme napravo pod asistentom. To vám umožní extrahovať surovú hodnotu, názov zámeru a priestor.
• Definujte sloty s ďalšími príkladmi, ako je uvedené nižšie
• Nakoniec nasaďte svojho asistenta a vyskúšajte si svoju prispôsobenú AI.

Krok 7: Napálte Raspbian na kartu SD

Raspbian je distribúcia Linuxu, ktorá beží na Raspberry Pi. V tejto príručke budeme používať verziu Lite, ale dá sa použiť aj verzia pre stolné počítače (ktorá je dodávaná s grafickým prostredím).

• Stiahnite si Etcher a nainštalujte ho.
• Pripojte čítačku kariet SD s kartou SD vo vnútri.
• Otvorte Etcher a vyberte z pevného disku súbor Raspberry Pi.img alebo.zip, ktorý chcete zapísať na kartu SD
• Vyberte kartu SD, na ktorú chcete napísať svoj obrázok.
• Skontrolujte svoje výbery a kliknite na položku Flash! začnite zapisovať údaje na kartu SD

Pripojte zariadenie k sieti

• Povoľte prístup SSH pridaním prázdneho súboru ssh, ktorý je opäť umiestnený v koreňovom adresári zavádzacieho zväzku na vašej SD karte.
• Vložte kartu SD do Raspberry Pi. Spustí sa zhruba za 20 sekúnd. Teraz by ste mali mať prístup SSH k vášmu Raspberry Pi. V predvolenom nastavení bude jeho názov hostiteľa raspberrypi.local. Na počítači otvorte okno terminálu a zadajte nasledujúci príkaz:

ssh [email protected]

Predvolené heslo je malina

Krok 8: Nainštalujte platformu Snips

Ak ste to ešte neurobili, nainštalujte si do počítača rozhranie Sam Command Line Interface. Otvorte okno terminálu a zadajte:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Nájdite svoj Raspberry Pi v sieti spustením:

sam zariadenia

Ďalej vytvorte pripojenie k zariadeniu. Budete vyzvaní na zadanie používateľského mena a hesla zariadenia (predvolené je pi a malina):

pripojiť sa

Teraz sme pripravení nainštalovať platformu Snips na Raspberry Pi. Zadajte príkaz:

sam init

Krok 9: Konfigurujte hardvér

Sam poskytuje niekoľko príkazov na jednoduché nastavenie a konfiguráciu hardvérových komponentov. V tejto sekcii nastavíme reproduktor a mikrofón. V závislosti od vášho nastavenia je potrebné vykonať niekoľko vlastných konfigurácií.

sam nastavenie zvuku

Otestujte reproduktor

Ak chcete skontrolovať, či reproduktor funguje, spustite ho

Sam testovací reproduktor

Ak všetko funguje dobre, mali by ste na svojom reproduktore počuť pár slov. Konfigurácia mikrofónu Môžete skontrolovať, či váš mikrofón funguje:

sam testovací mikrofón

Za predpokladu, že máte reproduktor, ak budete jasne počuť, čo ste práve povedali, môžete pokračovať ďalej bez ďalšej konfigurácie mikrofónu.

Keď sa presvedčíte, že vaše hardvérové nastavenie funguje, ste pripravení prejsť na ďalší krok, kde nasadíte svojho prvého asistenta.

Krok 10: Import modelu AI z konzoly

Po vytvorení asistenta z predchádzajúcich krokov sa prihláste do konzoly z okna terminálu spustením:

sam prihlásenie

Budete požiadaní o zadanie poverení konzoly Snips Console.

Ďalej nainštalujte asistenta:

asistent inštalácie sam

Ak ste v konzole vytvorili niekoľko asistentov, budete požiadaní, aby ste zo zoznamu vybrali, ktorý z nich sa má nainštalovať.

Krok 11: Kód obsluhy a akcie

Aby Raspberry Pi reagovalo, budeme musieť napísať nejaký kód obsluhy. Toto je kód, ktorý sa spustí, keď sa na platforme Snips stane určitá udalosť, napríklad keď sa zistí úmysel.

V závislosti od fungovania máte k dispozícii niekoľko spôsobov, ako vytvoriť Handler.

Na počítači vytvorte priečinok, do ktorého chcete uložiť kód obsluhy. V okne terminálu prejdite na požadovaný adresár a zadajte:

npm init

Vytvorí sa súbor s názvom package.json, ktorý obsahuje popis vášho projektu, závislosti a ďalšie. Ďalej pridajte závislosť balíka mqtt:

npm install mqtt --save

Teraz vytvorte súbor s názvom index.js a prilepte nasledujúci kód, ktorý nahradí premennú názvu hostiteľa názvom hostiteľa vášho Raspberry Pi (ak sa líši od predvoleného raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (názov hostiteľa); client.on ('connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('message', function (topic, message) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/identified/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message));}}); funkcia onIntentDetected (intencia) {console.log ("[Protokol o výstrižkoch] Zistený zámer:" + JSON.stringify (intencia)); } funkcia onHotwordDetected () {console.log ("[Záznam o výstrižkoch] Zistené kľúčové slovo"); } funkcia onListeningStateChanged (počúvanie) {console.log ("[Snips Log]" + (počúvanie? "Štart": "Stop") + "počúvanie"); }

Spustite tento kód pomocou Node:

uzol index.js

Mali by ste vidieť správu o úspešnom pripojení k brokerovi Snips MQTT. Rovnako ako predtým vykonajte hlasovú interakciu so svojim Raspberry Pi:

Hej, snipe, aké je počasie v Chennai

Mali by ste vidieť aktualizáciu denníkov:

[Záznam o výstrižkoch] Pripojené k brokerovi MQTT mqtt: //raspberrypi.local

[Zaznamenanie útržkov] Zistené kľúčové slovo [Záznam o výstrižkoch] Začať počúvať [Záznam o výstrižkoch] Zastaviť počúvanie [Záznam o výstrižkoch] Zistený zámer: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" predvolené "," vstup ":" aké je počasie v chennai "," zámer ": {" IntentName ":" searchWeatherForecast "," pravdepodobnosť ": 0,73845243}," sloty ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "prognóza_lokalita"}]}}

Krok 12: Riešenie problémov

Odstráňte predchádzajúceho asistenta, ak existuje

$ sudo rm -rf/usr/share/snips/asistent/

Ak chcete zmeniť adresár na Asistenta

cd/var/lib/snips/skills/

Na klonovanie obsahu repo na lokálne

git klon

Ak chcete spustiť skript setup.sh

./setup.sh

Aktivujte virtuálne prostredie

source venv/bin/aktivovať

Spustite kód akcie

./action-.py

Udeliť povolenie skriptu Python

chmod +x action-.py

Krok 13: Príloha

• Na tento projekt som použil kryt s krytím IP
• Najprv som urobil potrebné otvory na montáž obvodov a slotov pre napájací kábel a kábel HDMI.
• Potom som umiestnil všetok Raspberry Pi do krytu a pevne ho zaskrutkoval.
• Urobil som malý otvor pre reproduktor a mikrofón a zakryl som ho malým kúskom akrylovej fólie.
• Reproduktor pevne spojte s klobúkom ReSpeaker.
• Nakoniec sú všetky skrutky pevne namontované a napájací kábel je zasunutý cez otvor.
• Takto konečne vyzerá AI: D

Krok 14: Fungovanie AI

Údaje, ktoré sú monitorované, nájdete pomocou hodiniek Snips

Teraz je čas na show. Začal som vyrábať s jednoduchým pozdravom AI. Pozrite sa, ako to funguje.

Trainer AI je naprogramovaný na obmedzený počet slov. Toto je možné s malými úpravami rozšíriť. To pomáha študentom zapamätať si význam rýchlejšie ako tradičná metóda.

Pozor, tento projekt je školený približne na 25 slov. Je možné ho ďalej rozšíriť vykonaním drobných vylepšení v akčnom kóde.

Skripty akcií nájdete v priloženom úložisku Github.

Repo projektu pre pozdravy AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Repo projektu pre tréner AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Odkaz na moju aplikáciu:

Celé nastavenie stojí asi 115 dolárov, ktoré je možné zakúpiť u SNIPS a toto riešenie je v porovnaní s tradičnými metódami veľmi lacné a efektívne. V Indii bolo vykonaných zhruba viac ako 100 000 testov a tento produkt bude najlepším doplnkom pre odberateľov GRE.

Dajte palec hore, ak vám to skutočne pomohlo, a sledujte môj kanál pre zaujímavé projekty.:) Ak chcete, zdieľajte toto video. Sme radi, že ste sa prihlásili na odber: https://console.snips.ai/store/en/skill_xBKlxnE5K… Ďakujeme za prečítanie!