Začíname s kamerou M5StickV AI + IOT: 6 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Stručný prehľad

M5StickV je malá kamera AI + IOT s takmer priemerom 2 mince, cena je okolo 27,00 dolárov, čo sa niekomu môže zdať drahé pre taký malý fotoaparát, ale obsahuje niekoľko slušných špecifikácií. Kamera je poháňaná neuveriteľne výkonným čipom AI strojového učenia Kendryte K210, edge computing system-on-chip s dvojjadrovým 64bitovým procesorom RISC-V a najmodernejším procesorom neurónovej siete, vďaka ktorému je perfektný a pripravený na použitie použiť pre:

• Rozpoznanie/rozpoznanie tváre
• Detekcia/klasifikácia objektov
• Získanie veľkosti a súradníc cieľa v reálnom čase
• Získanie typu detekovaného cieľa v reálnom čase
• Rozpoznávanie tvarov
• Herný simulátor

M5StickV sa dodáva v peknom balení, ktoré obsahuje samotný M5StickV a kábel USB-A na USB-C.

Hardvérové funkcie

SoC-dvojjadrový 64-bitový procesor RISC-V Kendryte K210 @ 400 MHz s duálnym nezávislým dvojitým presným FPU, 8 MB na čipe SRAM, procesor Neural Network Processor (KPU) @ 0,8 Top, Field-Programmable IO Array (FPIOA), a viac

• Úložisko - 16 MB flash, slot na kartu microSD
• Displej - 1,14 ″ SPI displej s rozlíšením 240 × 135 (ovládač ST7789)
• Kamera - VGA (640 × 480) kamera cez snímač OV7740
• Audio - MAX98357 mono zosilňovač zvuku, reproduktor
• Senzor-3-osový gyroskop MPU6886, 3-osový akcelerometer
• USB-1x port USB-C na napájanie a programovanie
• Rôzne - predné a bočné tlačidlá (A / B), vypínač, RGBW LED
• Rozšírenie-4-kolíkový port „CONNEXT“
• Zdroj
• 200 mAh batéria
• AXP192 PMIC

Podrobnejšiu špecifikáciu nájdete na oficiálnych webových stránkach M5Stack. V prvom rade si musíme stiahnuť najnovšiu verziu firmvéru.

Krok 1: Ako napáliť firmvér na M5StickV

• Pripojte M5StickV k počítaču káblom typu C.
• Z tohto odkazu si stiahnite najnovší firmvér pre M5StickV.

Pre Windows:

Existujú 3 spôsoby napaľovania firmvéru pre operačný systém Windows:

Použitie nástroja EasyLoader

1. Vyberte správny port COM
2. Stlačte Burn
3. Po dokončení aktualizácie firmvéru uvidíte, že bol úspešne napálený.

Použitie Kflash GUI

1. Otvorte stiahnutý firmvér pomocou tlačidla Otvoriť súbor
2. Vyberte dosku ako M5StickV
3. Kliknite na položku Stiahnuť

Použitie príkazového riadka

• V Správcovi zariadení systému Windows skontrolujte port COM pre váš M5StickV.
• V systéme Windows musíte mať nainštalovaný Python3 s pip3 a tiež balík pyserial. Najnovšiu verziu Pythonu si môžete stiahnuť z oficiálnej webovej stránky.
• Otvorte príkazový riadok ako správca a zadajte nasledujúci príkaz

pip3 nainštalujte kflash

Po dokončení inštalácie spustite nasledujúci príkaz

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Pre Linux:

• Použitie Kflash GUI
• Použitie terminálu

Na termináli spustite nasledujúci príkaz:

sudo pip3 nainštalujte kflash

Použitie obrazu firmvéru napaľovania Kflash

sudo kflash -b 1500000 -B ísť M5StickV_Firmware_1022_beta.kfpkg

Pre MacOS:

Otvorte terminál a spustite nasledujúci príkaz

sudo pip3 nainštalujte kflash

Ak sa vám po inštalácii zobrazí chyba, vyskúšajte nasledujúci príkaz:

sudo python -m pip install kflash

sudo python3 -m pip install kflash sudo pip install kflash sudo pip2 install kflash

Zadajte nasledujúci príkaz

sudo kflash -b 1500000 -B ísť M5StickV_Firmware_1022_beta.kfpkg

Krok 2: Prvé spustenie M5stickV

Pre systémy MacOS a Linux:

1. Otvorený nástroj na inštaláciu obrazovky terminálu pre MacOS a Linux.
2. Je možné ho nainštalovať pomocou nasledujúceho príkazu:

obrazovka inštalácie sudo apt-get

Pomocou obslužného programu obrazovky sa pripojte k M5stickV prostredníctvom sériovej komunikácie

obrazovka sudo /dev /ttyUSB0 115200

Vytlačí sa:

[MAIXPY] Pll0: freq: 832000000 [MAIXPY] Pll1: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY] Flash: 0xc8 jadro… gc halda = 0x80215060-0x80295060 [MaixPy] počiatočný koniec _ _ _ _ _ _ _ _ | \/ | /\ | _ _ | / \ / / | _ / \ / / / | / / | / / | | / V / | | _) | / \ _ / / | | \/| | / / / \ | | > <| _ / / / | | | | / _ / _ | | _ /. / | | | | | _ | | _ | / _/ / _ / | _ | / _/ / _ / | _ | | _ | M5StickV od M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Co-op od Sipeed: https://m5stack.com/ [MAIXPY]: result = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: find ov7740

Po pripojení automaticky vstúpi do používateľského rozhrania Maixpy. Teraz na zariadení beží predvolený programový kód, môžete ho ukončiť Ctrl+C

Pre Windows

1. Stiahnite si PuTTY - bezplatného klienta SSH a telnet pre Windows
2. Nainštalujte a otvorte PuTTY
3. Vyberte port COM a prenosovú rýchlosť
4. Kliknite na tlačidlo Otvoriť a budete mať rovnaký výstup z obrazovky ako vyššie.
5. Ukončite to Ctrl+C.

Krok 3: Vytlačte príklad Hello World na displeji M5StickV

Do terminálu systému MacOS a Linux zadajte nasledujúce príkazy. Pre Windows použite PuTTY

import lcdlcd.init () lcd.draw_string (100, 100, „ahoj svet“, lcd. RED, lcd. BLACK)

Krok 4: MaixPy IDE

MaixPY IDE je klonovaná verzia OpenMV IDE. M5StickV podporuje vývojové prostredia OpenMV a MicroPython.

• Stiahnite si MaixPy IDE odtiaľto.
• Nainštalujte MaixPy IDE
• Spustite MaixPy IDE
• Vyberte model vývojovej dosky-Nástroje-> Vybrať dosku-> M5StickV.
• Kliknite na zelené tlačidlo Pripojiť odkaz v dolnom ľavom rohu a vyberte port sériového pripojenia USB, kliknite na tlačidlo OK.
• Keď sa tlačidlo pripojenia zmení zo zeleného na červené, bolo úspešne pripojené.
• Kliknutím na tlačidlo Spustiť v ľavom dolnom rohu spustíte kód a overíte ho.
• Kliknite na kartu sériového terminálu nižšie.
• Nakoniec uvidíte výstup v okne MaxPy.

Krok 5: Detekcia tváre pomocou M5StickV

• V predvolenom nastavení je model detekcie tváre a programový kód už predinštalovaný. Funguje to takto.
• Príklad detekcie tváre funguje celkom dobre.
• Aby sme mohli používať ostatné modely, musíme ich napáliť do flash pamäte M5StickV pomocou kflash_gui. Ostatné modely je možné stiahnuť tu. Existuje vopred vycvičený model, mobilenet, ktorý je predcvičený na rozpoznanie 1 000 predmetov. Ľahko dokáže odhaliť mnoho predmetov každodennej potreby.
• Skopírujte nižšie uvedený kód do MaixPy IDE.

import sensorimport image import KPU as kpu sensor.reset () sensor.set_pixformat (sensor. RGB565) sensor.set_framesize (sensor. QVGA) sensor.run (1) task = kpu.load (0x300000) anchor = (1,889, 2,5245, 2,9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2 (úloha, 0,5, 0,3, 5, kotva) while (True): img = sensor.snapshot () code = kpu.run_yolo2 (task, img) if code: for i in code: print (i) a = img.draw_rectangle (i.rect ()) a = kpu.deinit (task)

• Stlačte tlačidlo Spustiť a doska zobrazí živé video z kamery na MaixPyIDE.
• Presnosť je celkom dobrá, pretože ju prevádzkujeme na doske s cenou 27 dolárov. Je to skutočne pôsobivé a revolučné.

Krok 6: Záver

Táto doska však nie je ideálna, chýba jej analógové vstupy, mikrofón, WiFi a Bluetooth. Je to však skvelá kamera s funkciami AI, ktorú je možné použiť na rozpoznávanie tváre, detekciu predmetov alebo tvarov a mnoho ďalších činností spojených s detekciou. Je to tiež úžasná súprava pre vývojárov, aby ste mohli začať s jadrom Kendryte K210 RISC-V.

Dúfam, že vám bol tento návod užitočný a ďakujem za prečítanie. Ak máte akékoľvek otázky alebo pripomienky? Zanechajte komentár nižšie. Zostaňte naladení!