Historický Voicebot: 8 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Nasleduje rýchly prehľad obsahu.

• Úvod a ukážkové video
• Koncept
• Architektúra
• Krok 1: Chatbot
• Krok 2: Dotyková obrazovka
• Krok 3: Prestávka
• Krok 4: Vintage telefónna a hlasová súprava
• Krok 5: Testujte!

Zásoby

Rám

Dotyková obrazovka

Vintage telefón

Google AIY Voice

Node.js

Amazon Web Services AWS EC2

Google Dialogflow

Horúca lepiaca pištoľ (generická)

Ručná píla

Spájkovačka (generická)

Krok 1: Úvod a ukážkové video

Porozprávajte sa so svojou obľúbenou osobou z minulosti s Historic Voicebot! Vďaka tejto interaktívnej inštalácii sa môžete rozprávať s historickou postavou prostredníctvom chatu aj hlasu. Vyrobené pomocou nástrojov Dialogflow, Node.js, HTML Canvas, AIY Voice Kit, Raspberry Pi a starodávneho telefónu.

Krok 2: Koncept

Koncept sa skladá z dvoch častí: Dotyková obrazovka s animáciami historickej postavy. Dotyková obrazovka tiež zobrazuje dialógové okno a má tlačidlá, takže sa ľudia môžu pýtať často kladené otázky. Fyzický telefón, ktorý zachytáva reč a poskytuje zvukový výstup, takže ho možno používať na kladenie otázok a počúvanie odpovedí.

Krok 3: Architektúra

Tri hlavné časti sú:

• Backend, ktorý obsahuje Dialogflow a server Node.js
• Frontend, ktorý pozostáva zo stránky HTML Canvas
• Interaktívna inštalácia, ktorá obsahuje dotykový displej a hlasovú súpravu AIY integrovanú do starodávneho telefónu

Krok 4: Krok 1: Chatbot

Dialogflow

Na vytvorenie konverzačného agenta v Dialogflow som vyskúšal a otestoval množstvo rôznych prístupov, aby som získal čo najpresnejšie a najspoľahlivejšie odpovede. Tiež som sa rozhodol automatizovať čo najviac vytvárania dialógov. Zistil som, že v tomto prípade je najľahším a najspoľahlivejším spôsobom pridania znalostí do chatbotu Dialogflow pridanie súboru CSV s dvojicami otázok a odpovedí. Pre Historic Voicebot som ručne vytvoril 20 párov otázok a odpovedí a pridal som ich do Dialogflow. Ako vidíte, odpovede Ady Lovelace sú správne, včasné a spoľahlivé. Viac informácií o Dialogflow nájdete priamo tu.

Node.js

Server Ako je uvedené v architektúre, server Node.js je mozgom operácie a poskytuje spojenie medzi Dialogflow a rôznymi zariadeniami. V prvých verziách server bežal lokálne na mojom prenosnom počítači. V aktuálnej verzii je server nasadený na serveri EC2 Amazon Web Services so systémom Ubuntu. Existuje niekoľko skvelých návodov pre Node.js a jeho spustenie pre AWS.

Krok 5: Krok 2: Dotyková obrazovka

Animácie pre Historic Voicebot boli vytvorené vyrezaním rôznych prvkov, ako sú paže, obočie a brada, z obrazu Ady Lovelace pomocou programu Adobe Photoshop. Každý z týchto prvkov bol jednotlivo umiestnený na HTML Canvasfrontend. Na presun a animáciu týchto výrezov bola použitá knižnica TweenJSJavaScript na základe vstupov od používateľov a odpovedí z Dialogflow.

Rám Na dokončenie obrázku bol orezaný starý rám na veľkosť dotykovej obrazovky. Ako vždy, dvakrát meraj, raz strihaj.

Krok 6: Krok 3: Prestávka

Nezabudnite si raz za čas urobiť relaxačnú prestávku!

Krok 7: Krok 4: Vintage telefónna a hlasová súprava

Pokúsil som sa nájsť telefón, ktorý bol použitý v ére Ada Lovelace. Nielenže boli telefóny vynájdené dlho potom, čo zomrela, ale skutočne staré telefóny je ťažké zohnať. Napriek tomu som si mohol kúpiť starý rotačný telefón Ericsson vyrobený v šesťdesiatych rokoch minulého storočia.

Aby som vytvoril funkčného hlasového robota, zameral som sa na umiestnenie súpravy AIY do telefónu a opätovné využitie čo najväčšieho počtu pôvodných funkcií.

Reproduktor a dva zvončeky vo vnútri telefónu som mohol znova použiť. Rotačný disk bol tiež zachovaný, ale v súčasnej dobe nie je funkčný. Mikrofón, ktorý bol vo vnútri držadla, som aktualizoval na moderný, aby som dokázal presne zachytiť zvukový vstup. Vymenil som starý telefónny kábel za nový, aby som mohol správne prepojiť nový mikrofón.

Krok 8: Krok 5: Testujte

Naozaj to funguje? Je to len jeden spôsob, ako to zistiť, vyskúšajme to!

To je pre projekt Historic Voicebot všetko, porozprávajte sa neskôr!