Vizualizácia údajov z Magicbit v AWS: 5 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:55

Údaje zozbierané zo senzorov pripojených k Magicbit budú publikované do jadra AWS IOT prostredníctvom MQTT, aby boli graficky vizualizované v reálnom čase. V tomto projekte používame magicbit ako vývojovú dosku, ktorá je založená na ESP32. V tomto projekte je preto možné použiť akúkoľvek vývojovú dosku ESP32.

Zásoby:

Magicbit

Krok 1: Príbeh

Tento projekt sa týka pripojenia vášho zariadenia Magicbit k cloudu AWS prostredníctvom MQTT. Údaje odoslané prostredníctvom MQTT sa analyzujú a vizualizujú v cloude pomocou služieb AWS. Začnime teda

Najprv by ste mali ísť do konzoly AWS a prihlásiť sa. Na účely vzdelávania môžete použiť možnosť bezplatnej triedy, ktorú ponúka AWS. Na tento projekt to bude stačiť.

Aby to bolo jednoduchšie, rozdelím projekt na dve časti.

Toto bude prvá etapa nášho projektu. Na konci prvej etapy budú údaje uložené v vedrách S3.

Služby AWS, ktoré budú použité v prvej sekcii,

• Kinesis Firehose
• Lepidlo AWS
• AWS S3

Najprv prejdite na službu AWS Kinesis.

Vyberte Kinesis Data Firehose, ako je uvedené nižšie, a kliknite na Vytvoriť

Potom budete presmerovaní na krok 1 k vytvoreniu služby Firehose. Zadajte názov streamu doručenia a zvoľte Priamy nákup alebo Iné zdroje. Kliknite na Ďalej.

V okne kroku 2 nechajte všetko ako predvolené a kliknite na tlačidlo Ďalej. Po vytvorení služby AWS Glue Service sa vrátime k úprave tohto kroku.

V kroku 3 vyberte vedro S3, ak ste ho už vytvorili. V opačnom prípade kliknite na vytvoriť a vytvorte vedro. V časti predpony S3 použite cieľ/ a v predpone chyby zadajte chybu/. Pre vyššie uvedené dva môžete zadať ľubovoľný názov. Ale pre jednoduchosť budeme pokračovať spoločným názvom. Vo vedre, ktoré ste vybrali, nezabudnite vytvoriť priečinok s názvom dest. Kliknite na Ďalej.

V kroku 4 vyberte minimálnu veľkosť vyrovnávacej pamäte a interval vyrovnávacej pamäte pre prenos údajov v reálnom čase. V časti Povolenie vyberte položku Vytvoriť alebo aktualizovať úlohu IAMKinesisFirehoseServiceRole. Nechajte všetko predvolené. Kliknite na Ďalej.

V ďalšej časti sa zobrazí prehľad vami vykonaných zmien. Kliknite na tlačidlo OK. Potom budete mať funkčnú Kinesis Firehose.

Ak ste úspešne vytvorili službu Firehose, získate niečo také.

Krok 2: Testovanie vedra Firehose a S3

Ak chcete otestovať, či lopaty firehose a S3 fungujú správne, vyberte v konzole jadro IOT. Budete presmerovaní na stránku, ako je táto. Vyberte položku Pravidlo a vytvorte pravidlo.

Čo je pravidlo AWS IOT?

Používa sa na odosielanie akýchkoľvek údajov prijatých z MQTT do konkrétnej služby. V tomto prípade postúpime do Kinesis Firehose.

Vyberte názov pravidla. Nechajte vyhlásenie o pravidlách a dotazoch tak, ako je. To nám hovorí, že všetko, čo je publikované na tému iot/téma, bude prostredníctvom tohto pravidla postúpené kineze Firehose.

V časti Nastaviť jednu alebo viac akcií kliknite na položku Pridať akciu. Vyberte položku Odoslať správu do streamu Amazon Kinesis Firehose. Vyberte konfiguráciu. Potom vyberte názov streamu firehose vytvorený skôr. Potom kliknite na položku Vytvoriť rolu a vytvorte rolu. Teraz ste úspešne vytvorili rolu v AWS.

Akákoľvek správa, ktorú zverejníte, bude odoslaná prostredníctvom Kinesis Firehose do vedier S3.

Majte na pamäti, že Firehose odosiela údaje po naplnení vyrovnávacej pamäte alebo po dosiahnutí intervalu vyrovnávacej pamäte. Minimálny interval vyrovnávacej pamäte je 60 sekúnd.

Teraz sa môžeme presunúť k druhej časti projektu. Toto bude náš diagram toku údajov.

Krok 3: Konfigurácia lepidla AWS

Prečo potrebujeme AWS Glue a AWS Athena?

Údaje uložené v vedrách S3 nemožno priamo použiť ako vstup do AWS Quicksight. Najprv musíme údaje usporiadať vo forme tabuliek. Na tento účel používame vyššie uvedené dve služby.

Prejdite na AWS Glue. Na bočnom paneli s nástrojmi vyberte prehľadávač. Potom vyberte položku Pridať prehľadávač.

V prvom kroku zadajte názov prehľadávača. Kliknite na Ďalej. V ďalšom kroku ponechajte predvolené nastavenie. V treťom kroku zadajte cestu k vybranému vedru S3. Nechajte nasledujúce okno ako predvolené. V piatom okne zadajte ľubovoľnú úlohu IAM. V ďalšom kroku zvoľte frekvenciu spustenia služby.

Odporúčame vybrať v rozbaľovacom poli vlastné a zvoliť minimálny čas.

V ďalšom kroku kliknite na položku Pridať databázu a potom na ďalšie. Kliknite na Dokončiť.

Teraz by sme mali integrovať naše Kinesis Firehose s lepidlom AWS, ktoré sme vytvorili.

Prejdite na AWS Kinesis firehose, ktorú sme vytvorili, a kliknite na položku Upraviť.

Posuňte zobrazenie nadol na sekciu Previesť formát záznamu a vyberte možnosť Povolené.

Vyberte výstupný formát ako Apache Parquet. Pre ostatné podrobnosti vyplňte údaje o databáze Glue, ktorú ste vytvorili. V databáze by mala byť vytvorená tabuľka a názov by mal byť pridaný do tejto sekcie. Kliknite na položku Uložiť.

Krok 4: Konfigurácia AWS Athena

Vyberte databázu a tabuľku údajov, ktorú ste vytvorili. Do sekcie dotazu by mal byť pridaný tento kód.

názov-tabuľky by mal byť nahradený skutočným názvom tabuľky Glue, ktorú ste vytvorili.

Kliknite na položku Spustiť dotaz. Ak to funguje, údaje uložené v vedre AWS S3 by sa mali zobraziť ako tabuľka údajov.

Teraz sme pripravení vizualizovať údaje, ktoré sme získali.

Krok 5: Konfigurácia QuickSight

Prejdite na AWS Quicksight

Kliknite na položku Nová analýza v pravom hornom rohu a potom kliknite na položku Nová množina údajov.

Vyberte si Athénu zo zoznamu. Na vyskakovacej karte zadajte ľubovoľný názov zdroja údajov.

V rozbaľovacom zozname a príslušnej tabuľke vyberte databázu Lepidlo. Tým sa dostanete na túto stránku.

Presuňte ľubovoľné pole zo zoznamu polí a vyberte ľubovoľný typ vizuálu.

Teraz si môžete vizualizovať všetky údaje odoslané z vášho MagicBit pomocou služieb AWS !!!

Nezabudnite povoliť prístup pre rýchly prehľad pre príslušné segmenty S3, aby ste v nich mohli vizualizovať údaje.