AI With Grove Zero and Codecraft (Scratch 3.0): 5 Steps (with Pictures)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:56

V tomto článku budeme stavať tri projekty využívajúce funkcie AI Codecraft, grafické programovacie prostredie založené na Scratch 3.0. Codecraft je vyvinutý a udržiavaný vzdelávaním TinkerGen a je voľne použiteľný.

AI a jej podskupina, strojové učenie, sa za posledných 10 rokov stalo neoddeliteľnou súčasťou našich životov. Školské osnovy v mnohých krajinách obsahujú znalosti o AI a strojovom učení, ale pre priemerného učiteľa môže byť ťažké vytvoriť učebné materiály na vyučovanie tejto témy bez správnych nástrojov. Použitie knižníc strojového učenia, dokonca aj tých užívateľsky najpríjemnejších, ako napríklad Keras, na zostavenie aplikácie, s ktorou môžu študenti interagovať, môže byť časovo náročná a skľučujúca úloha. V tomto môže pomôcť Codecraft - má bohatú sadu aplikácií poháňaných strojovým učením, ktoré môže učiteľ použiť na vysvetlenie a predvádzanie konceptov týkajúcich sa umelej inteligencie. Pozrime sa na ne!

Krok 1: Prehľad rozšírení AI

Otvorte online editor Codecraft na

Kliknite na režim fázy a potom na tlačidlo Pridať rozšírenie v spodnej časti navigačnej karty blokov.

Uvidíte, že sú k dispozícii tri rozšírenia AI:

- Kognitívne služby --- Modely strojového učenia na spracovanie živého videa a zvuku

- Teachable Machine --- možno použiť na školenie klasifikačného modelu so snímkami nasnímanými fotoaparátom

- Translate --- na preklad používa strojové učenie

V tomto článku sa zameriame na kognitívne služby a používanie týchto funkcií na ovládanie hardvéru Grove Zero. Bezdrôtová komunikácia medzi počítačom a Grove Zero stále prebieha a článok aktualizujem hneď, ako bude k dispozícii. Na prenos správ medzi modulom Grove Zero a počítačom zatiaľ použijeme káblové pripojenie.

Krok 2: Hrajte Space Invaders s nosom

Na prvú úlohu použijeme iba fázový režim bez akéhokoľvek hardvéru. Codecraft má množstvo príkladov, ako začať s programovaním - jedným z týchto príkladov je programovanie klasickej hry Space Invaders v režime Codecraft Stage. Tento príklad rozšírime a pridáme možnosť ovládať herného bojovníka nosom pomocou kognitívnych služieb.

Kliknite na tlačidlo Príklady. Príklad Open Space Invaders. Potrebujeme zmeniť iba časť relevantnú pre pohyb. Za to, že získame polohu x nosa na tvári detekovanú v živom kanáli videa, uložte ho do variabilnej polohy. Ak je hodnota pos väčšia ako 50, posunieme svojho vesmírneho bojovníka doprava, ak je menší ako -50, posunieme ho bojovníka doľava. To je ono Vyskúšaj to! Ak máte pocit, že rýchlosť pohybu bojovníka je príliš vysoká, môžete zmeniť zmenu x o … blok na menšie číslo.

Ďalej sa budeme venovať tejto funkcii na ovládanie auta Grove Zero a jeho pohybu dopredu/dozadu/doľava/doprava.

Krok 3: Ovládajte nulové auto Grove s Codecraft AI

Začnime tým, že napíšeme kód vo fázovom režime - to je časť, ktorá je zodpovedná za analýzu kanála videa a odosielanie príkazov do Grove Zero.

1) Spustíme kód na prvom obrázku, kým nestlačíme medzerník. Potom pošleme príkaz stop.

2) Vo vnútri opakujte, kým blok nekontrolujeme x-pos a y-pos nosa rozpoznanej tváre a uložíme ich do zodpovedajúcich premenných.

3) Ak je absolútna hodnota x-pos menšia ako 21 (to znamená, že je medzi -20 a 20, teda blízko stredu obrázku), pokračujeme kontrolou y-pos, aby sme zistili, či by auto malo ísť dopredu alebo dozadu.

4) V opačnom prípade skontrolujeme, či má auto ísť doľava alebo doprava

Teraz sa presuňte na kartu Zariadenie a napíšte krátky kód pre auto Grove Zero. Použijeme blok Keď dostanem blok, ktorý je zodpovedný za prijímanie interných vysielacích príkazov. Nezamieňajte si s Keď rádio prijíma, ktoré sa používa na komunikáciu Bluetooth. Podrobnosti nájdete na snímke obrazovky, kód je pomerne jednoduchý.

Pripojte svoje zostavené auto Grove Zero k počítaču a stlačte tlačidlo Pripojiť v Codecraft. Prepnúť do režimu ladenia online - to umožní základnej doske Grove prijímať rozkazy po kábli. Potom prejdite na fázový režim a stlačte vlajku. Auto by sa už malo pohybovať, skúste ho ovládať nosom:)

Krok 4: Nasledovanie riadku pomocou hlasového ovládania

V súprave do auta Grove Zero je mapa, ktorá mala pôvodne hrať minihru Collect the Coins. Môžeme to zmeniť na používanie rozpoznávania hlasu v Codecrafte na zadávanie príkazov automobilu, ktorou cestou odbočiť na križovatke.

Časť fázového režimu je tu menej komplikovaná ako v predchádzajúcom príklade. Čo robíme, je:

1) Po prijatí vysielanej správy choose_direction rozpoznajte fragment reči a uložte ho do premennej výsledku.

2) Rozpoznávajte, kým výsledok NIE JE neznámy.

3) Porovnajte výsledok s dvoma reťazcami - „vľavo“a „vpravo“. Vyslať zodpovedajúcu správu do auta Grove Zero.

Kód bežiaci v aute Grove Zero je tentokrát trochu komplikovanejší, ale v zásade sa riadi touto logikou:

1) Pri spustení pošlite správu vpred

2) Po prijatí správy preposlať začnite sledovať riadok. Ak dôjde k strate vedenia, zastavte motory a vysielajte

choose_direction. Tu sa spustí kód v režime Fáza.

3) Ak je správa prijatá, začnite odbočovať doľava a potom sa vráťte do režimu sledovania riadkov.

Ak sa zobrazí správna správa, začnite odbočovať doprava a potom sa vráťte do režimu nasledujúceho riadku.

Krok 5: Zo zákulisia

Modely neurónových sietí použité vo vyššie uvedenej aplikácii sú všetky spustené lokálne vo vašom prehliadači, čo má v porovnaní s odoslaním údajov do cloudu na spracovanie niekoľko výhod: menšia latencia a lepšie súkromie. V kognitívnych službách sa používa niekoľko neurónových sietí - klasifikácia zvuku pre príkazy reči (, detekcia orientačných bodov tváre, rozpoznávanie výrazov tváre a odhad veku.

V tomto článku sme skúmali základnú funkčnosť jedného z rozšírení Codecraft AI - kognitívne služby. Existuje niekoľko spôsobov, ako môžete na týchto príkladoch stavať, aby boli aplikácie ešte zábavnejšie a vzrušujúcejšie!

Ak sa rozhodnete skúsiť to, či už s Grove Zero alebo len pomocou režimu Stage, podeľte sa o to v nižšie uvedených komentároch. Viac informácií o sériách Grove Zero, Codecraft a inom hardvéri pre výrobcov a pedagógov STEM nájdete na našej webovej stránke

TinkerGen vytvoril kampaň Kickstarter pre MARK (Make A Robot Kit), robotickú súpravu na výučbu kódovania, robotiky, AI!