Autonómny dron s infračervenou kamerou na pomoc prvým záchranárom: 7 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Podľa správy Svetovej zdravotníckej organizácie každoročne prírodné katastrofy zabijú okolo 90 000 ľudí a postihnú takmer 160 miliónov ľudí na celom svete. Medzi prírodné katastrofy patria zemetrasenia, cunami, sopečné erupcie, zosuvy pôdy, hurikány, záplavy, požiare, vlny horúčav a suchá. Čas je zásadný, pretože šanca na prežitie sa začína znižovať s každou ďalšou minútou. Prví záchranári môžu mať problém nájsť pozostalých v poškodených domoch a pri ich hľadaní ohroziť svoj život. Mať systém, ktorý by dokázal vzdialene lokalizovať ľudí, by výrazne zvýšilo rýchlosť, ktorou ich môžu prví záchranári evakuovať z budov. Po skúmaní iných systémov som zistil, že niektoré spoločnosti vytvorili roboty, ktoré sú založené na súši, alebo vytvorili drony, ktoré môžu sledovať ľudí, ale fungujú iba mimo budov. Kombinácia hĺbkových kamier spolu so špeciálnymi infračervenými kamerami môže umožniť presné sledovanie vnútorného priestoru a detekciu teplotných zmien predstavujúcich oheň, ľudí a zvieratá. Implementáciou senzorov s vlastným algoritmom na bezpilotnom lietadle (UAV) bude možné autonómne kontrolovať domy a identifikovať polohu ľudí a zvierat, aby ich čo najskôr zachránili.

Hlasujte za mňa v súťaži Optika!

Krok 1: Požiadavky na dizajn

Po preskúmaní dostupných technológií som diskutoval o možných riešeniach s odborníkmi na strojové videnie a prvým respondentom, aby som našiel najlepšiu metódu na detekciu ľudí, ktorí prežili v nebezpečných oblastiach. Nasledujúce informácie uvádzajú najdôležitejšie požadované funkcie a prvky návrhu systému.

• Vision Processing - Systém musí poskytovať vysokú rýchlosť spracovania pre vymieňané informácie medzi senzormi a reakciou umelej inteligencie (AI). Systém napríklad musí byť schopný rozpoznať steny a prekážky, aby sa im vyhol, a zároveň musí nájsť ľudí, ktorí sú v nebezpečenstve.
• Autonómny - systém musí fungovať bez vstupu používateľa alebo operátora. Personál s minimálnymi skúsenosťami s technológiou UAV by mal byť schopný stlačiť jedno alebo niekoľko tlačidiel, aby systém mohol začať skenovať sám.
• Rozsah - rozsah je vzdialenosť medzi systémom a všetkými ostatnými objektmi v blízkosti. Systém by mal byť schopný detekovať chodby a vchody zo vzdialenosti najmenej 5 metrov. Ideálny minimálny dosah je 0,25 m, aby bolo možné detegovať blízke objekty. Čím väčší je detekčný dosah, tým kratší je detekčný čas pre tých, ktorí prežili.
• Presnosť navigácie a detekcie - Systém by mal byť schopný presne nájsť všetky vchody a nenaraziť na žiadne objekty, pričom by mal detekovať aj náhly vzhľad predmetov. Systém musí byť schopný nájsť rozdiel medzi ľuďmi a neživými predmetmi prostredníctvom rôznych senzorov.
• Doba prevádzky - Systém by mal byť schopný vydržať 10 minút alebo dlhšie v závislosti od počtu miestností, ktoré je potrebné skenovať.
• Rýchlosť - mala by byť schopná skenovať celú budovu za menej ako 10 minút.

Krok 2: Výber zariadenia: Metóda mobility

Kvadrokoptéra bola vybraná pred vozidlom na diaľkové ovládanie, pretože aj keď je kvadrokoptéra krehká, je jednoduchšie ju ovládať a meniť výšku, aby sa predišlo prekážkam. Kvadrokoptéra môže držať všetky senzory a stabilizovať ich tak, aby boli presnejšie pri pohybe do rôznych miestností. Vrtule sú vyrobené z uhlíkových vlákien, ktoré sú odolné voči teplu. Senzory smerujú ďaleko od stien, aby sa predišlo nehodám.

• Pozemné vozidlo na diaľkové ovládanie

  • Pros - Môže sa rýchlo pohybovať bez pádu a nie je ovplyvnený teplotou
  • Nevýhody - Vozidlo by senzory položilo nižšie na zem a súčasne by pokrývalo menšiu plochu a mohlo by ho zablokovať prekážka
• Kvadrokoptéra
  • Pros - Zdvihne senzory do vzduchu, aby získali 360 -stupňový pohľad na okolie
  • Mínusy - Ak narazí na stenu, môže spadnúť a už sa nezotaví

Krok 3: Výber zariadenia: Mikrokontroléry

Dve hlavné požiadavky na mikrokontroléry sú malé rozmery na zníženie užitočného zaťaženia kvadrokoptéry a rýchlosť rýchleho spracovania vstupných informácií. Kombinácia Rock64 a DJI Naza je perfektnou kombináciou mikrokontrolérov, pretože Rock64 má dostatočný výpočtový výkon na rýchlu detekciu ľudí a zabránenie tomu, aby kvadrokoptéra narazila do stien a prekážok. DJI Naza to dopĺňa tým, že robí všetku stabilizáciu a ovládanie motora, aké Rock64 nedokáže. Mikrokontroléry komunikujú cez sériový port a v prípade potreby umožňujú užívateľskú kontrolu. Raspberry Pi by bola dobrá alternatíva, ale pretože Rock64 mal lepší procesor a lepšie pripojenie k senzorom uvedeným v nasledujúcej tabuľke, Pi nebolo vybrané. Intel Edison a Pixhawk neboli vybrané z dôvodu nedostatočnej podpory a pripojenia.

• Malinový koláč

  • Pros - Dokáže detekovať steny a pevné objekty
  • Nevýhody - snaží sa udržať krok s údajmi zo všetkých senzorov, takže nemôže dostatočne rýchlo vidieť vstupy. Nemôže prenášať signály motora a nemá žiadne stabilizačné senzory pre kvadrokoptéru

• Rock64

  • Pros - Schopný detekovať steny a vchody s malou latenciou.
  • Nevýhody - Tiež schopný previesť systém po celom dome bez toho, aby narazil na čokoľvek, pomocou všetkých senzorov. Nie je schopný odosielať signály dostatočne rýchlo na ovládanie otáčok motora a nemá žiadne stabilizačné senzory pre kvadrokoptéru

• Intel Edison

  • Pros - Dokáže detekovať steny a vchody s určitým oneskorením
  • Nevýhody - Staršia technológia, mnohé zo senzorov by potrebovali nové knižnice, ktorých vytváranie je časovo náročné
• DJI Naza
  • Pros - Má integrovaný gyroskop, akcelerometer a magnetometer, aby bola kvadrokoptéra stabilná vo vzduchu s mikro nastavením otáčok motora
  • Zápory - Nie je možné vykonať žiadne spracovanie zraku

• Pixhawk

  • Pros - Kompaktný a kompatibilný so senzormi použitými v projekte pomocou vstupného výstupu na všeobecné účely (GPIO)
  • Zápory - Nie je možné vykonať žiadne spracovanie zraku

Krok 4: Výber zariadenia: Senzory

Na získanie všetkých informácií potrebných na nájdenie osôb v nebezpečných oblastiach sa používa kombinácia niekoľkých senzorov. Dva hlavné vybrané senzory zahŕňajú stereo infračervenú kameru spolu so systémom SOund Navigation And Ranging (SONAR). Po niekoľkých testoch som sa rozhodol použiť kameru Realsense D435, pretože je malá a je schopná presne sledovať vzdialenosti až do vzdialenosti 20 metrov. Beží na 90 snímok za sekundu, čo umožňuje vykonať veľa meraní pred rozhodnutím o tom, kde sa objekty nachádzajú a akým smerom nasmerovať kvadrokoptéru. Senzory SONAR sú umiestnené v hornej a spodnej časti systému, aby kvadrokoptéra vedela, ako vysoko alebo nízko môže ísť pred kontaktom s povrchom. Je tu aj jeden smerujúci dopredu, ktorý systému umožňuje detegovať objekty ako sklo, ktoré snímač stereofónnej infračervenej kamery nedokáže detekovať. Ľudia a zvieratá sú detegovaní pomocou algoritmov na rozpoznávanie pohybu a objektov. FLIR Camera bude implementovaná tak, aby pomohla stereo infračervenej kamere sledovať, čo žije a čo nie, aby sa zvýšila účinnosť skenovania v nepriaznivých podmienkach.

• Kinect V1

  • Pros - Dokáže ľahko sledovať 3D objekty až do vzdialenosti 6 metrov
  • Nevýhody -Má iba 1 infračervený senzor a je príliš ťažký na kvadrokoptéru

• Realsense D435

  • Pros - Má 2 infračervené kamery a červenú, zelenú, modrú a hĺbkovú (RGB -D) kameru na vysoko presnú detekciu 3D predmetov až na vzdialenosť 25 metrov. Je široký 6 cm, čo umožňuje ľahké nasadenie do kvadrokoptéry
  • Nevýhody - môže sa zahriať a môže potrebovať chladiaci ventilátor

• LIDAR

  • Pros - Lúč, ktorý môže v zornom poli sledovať polohy až 40 metrov
  • Nevýhody - Teplo v prostredí môže ovplyvniť presnosť merania

• SONAR

  • Pros - Lúč, ktorý môže sledovať vzdialenosť 15 m, ale je schopný detekovať priehľadné predmety, ako je sklo a akryl
  • Nevýhody - iba body v jednom zornom poli, ale pomocou kvadrokoptéry ich môžete presúvať do skenovanej oblasti

• Ultrazvukové

  • Pros - Má dosah až 3 m a je veľmi lacný
  • Nevýhody - ukazuje iba na jeden zorný uhol a veľmi ľahko sa môže nachádzať mimo dosahu snímania vzdialenosti
• FLIR kamera
  • Pros - Dokáže bez rušenia robiť hĺbkové obrázky dymom a dokáže rozpoznať živých ľudí pomocou tepelných podpisov
  • Nevýhody - Ak niečo prekáža senzorom, výpočty vzdialenosti môžu byť nesprávne vypočítané

• PIR senzor

  • Pros - Dokáže zistiť zmenu teploty
  • Mínusy - Nedá sa presne určiť, kde je teplotný rozdiel

Krok 5: Výber zariadenia: Software

Na vytvorenie bezproblémovej integrácie medzi všetkými senzormi s mikrokontrolérom som použil súpravu Realsense SDK spolu s operačným systémom robota (ROS). Súprava SDK poskytovala stabilný tok údajov mračna bodov, ktorý bol ideálny na sledovanie všetkých objektov a hraníc kvadrokoptéry. ROS mi pomohol odoslať všetky údaje zo senzorov do programu, ktorý som vytvoril a ktorý implementuje umelú inteligenciu. AI sa skladá z algoritmov na detekciu objektov a algoritmov na detekciu pohybu, ktoré umožňujú kvadrokoptére nájsť pohyb vo svojom prostredí. Ovládač používa na ovládanie polohy kvadrokoptéry moduláciu šírky impulzov (PWM).

• Freenect

  • Pros - Má nižšiu úroveň prístupu na ovládanie všetkého
  • Nevýhody - Podporuje iba Kinect V1

• Realsense SDK

  • Pros - Môže ľahko vytvárať údaje mračna bodov z informačného toku z kamery Realsense
  • Nevýhody - podporuje iba kameru Realsense D435

• Ovládač FLIR Linux

  • Pros - Dokáže načítať dátový tok z kamery FLIR
  • Nevýhody - Dokumentácia je veľmi obmedzená

• Robotový operačný systém (ROS)

  • Pros - Operačný systém ideálny na programovanie funkcií fotoaparátu
  • Nevýhody - je potrebné nainštalovať na rýchlu kartu SD, aby bol zber dát efektívny

Krok 6: Vývoj systému

„Očami“zariadenia je stereo infračervený senzor Realsense D435, ktorý je štandardným senzorom používaným hlavne pre robotické aplikácie, ako je 3D mapovanie (obrázok 1). Keď je tento senzor nainštalovaný na kvadrokoptére, infračervená kamera môže viesť a umožniť kvadrokoptére autonómny pohyb. Údaje generované kamerou sa nazývajú bodový mrak, ktorý pozostáva zo série bodov v priestore, ktoré majú informácie o polohe určitého objektu vo videní kamery. Tento oblak bodov je možné previesť na hĺbkovú mapu, ktorá zobrazuje farby v rôznych hĺbkach (obrázok 2). Červená je ďalej, zatiaľ čo modrá je bližšie k metrom.

Aby bol tento systém bezproblémový, bol použitý operačný systém s otvoreným zdrojovým kódom ROS, ktorý sa bežne používa na robotoch. Umožňuje vykonávať nízkoúrovňové ovládanie zariadení a pristupovať ku všetkým senzorom a kompilovať údaje, ktoré budú používať iné programy. ROS bude komunikovať so súpravou Realsense SDK, ktorá umožňuje zapínať a vypínať rôzne kamery a sledovať, ako ďaleko sú objekty od systému. Spojenie medzi oboma mi umožňuje prístup k dátovému toku z kamery, ktorá vytvára bodový mrak. Informácie o mračne bodov môžu určiť, kde sú hranice a objekty do 30 metrov s presnosťou 2 cm. Ostatné senzory, ako sú senzory SONAR a zabudované senzory v ovládači DJI Naza, umožňujú presnejšie umiestnenie kvadrokoptéry. Môj softvér používa algoritmy AI na prístup k mračnu bodov a prostredníctvom lokalizácie vytvára mapu celého priestoru obklopujúceho zariadenie. Akonáhle je systém spustený a začne skenovať, bude putovať chodbami a nájsť vstupy do iných miestností, kde môže potom prehľadať miestnosť konkrétne hľadajúcu ľudí. Systém opakuje tento proces, kým nie sú skenované všetky miestnosti. V súčasnosti môže kvadrokoptéra lietať asi 10 minút, čo je dosť na úplné zametanie, ale dá sa vylepšiť rôznym usporiadaním batérie. Prví respondenti dostanú upozornenia na ľudí, ktorí ich spozorujú, aby sa mohli zamerať na vybrané budovy.

Krok 7: Diskusia a záver

Po mnohých pokusoch som vytvoril funkčný prototyp, ktorý spĺňal požiadavky uvedené v tabuľke 1. Použitím stereo infračervenej kamery Realsense D435 so súpravou Realsense SDK bola vytvorená mapa hĺbky s vysokým rozlíšením prednej časti kvadrokoptéry. Najprv som mal nejaké problémy s tým, že infračervená kamera nedokázala rozpoznať určité objekty, ako je sklo. Pridaním senzora SONAR sa mi podarilo tento problém prekonať. Kombinácia Rock64 a DJI Naza bola úspešná, pretože systém dokázal stabilizovať kvadrokoptéru a zároveň dokázal detekovať objekty a steny pomocou algoritmov počítačového videnia vytvorených na mieru pomocou OpenCV. Napriek tomu, že súčasný systém je funkčný a spĺňa požiadavky, mohol by ťažiť z niektorých budúcich prototypov.

Tento systém by bolo možné vylepšiť použitím kvalitnejších kamier, ktoré by dokázali presnejšie detegovať ľudí. Niektoré z drahších kamier FLIR majú schopnosť detekovať tepelné podpisy, čo umožňuje presnejšiu detekciu. Systém by tiež mohol fungovať v rôznych prostrediach, ako sú miestnosti, ktoré sú prašné a naplnené dymom. Vďaka novej technológii a protipožiarnej odolnosti by tento systém mohol byť odoslaný do horiacich domov a rýchlo zistiť, kde sa ľudia nachádzajú, aby prví záchranári mohli dostať tých, ktorí prežili, pred nebezpečenstvom.

Vďaka za prečítanie! Nezabudnite mi dať svoj hlas v súťaži Optika!