Trstinové oko: Pozrite sa ušami: 16 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 12:00

Chcem vytvoriť inteligentnú „palicu“, ktorá môže ľuďom so zrakovým postihnutím pomôcť oveľa viac ako existujúce riešenia. Trstina bude schopná upozorniť užívateľa na predmety vpredu alebo po stranách tak, že v slúchadlách typu priestorového zvuku vydá hluk. Trstina bude mať tiež malú kameru a LIDAR (detekcia a dosah svetla), aby dokázala rozpoznať predmety a osoby v miestnosti a upozorniť užívateľa pomocou slúchadiel. Z bezpečnostných dôvodov nebudú slúchadlá blokovať všetok hluk, pretože k dispozícii bude mikrofón, ktorý dokáže odfiltrovať všetky nepotrebné zvuky a udržať v aute rohy a ľudí. Nakoniec bude mať systém GPS, aby mohol poskytovať pokyny a ukazovať používateľovi, kam má ísť.

Hlasujte prosím za mňa v súťažiach Arduino a Raspberry Pi!

Krok 1: Prehľad projektu

Podľa World Access for the Blind je fyzický pohyb jednou z najväčších výziev pre nevidomých. Cestovanie alebo obyčajná prechádzka preplnenou ulicou môže byť veľmi náročná. Tradične bolo jediným riešením použitie bežne známej „bielej palice“, ktorá sa používa predovšetkým na skenovanie okolia narážaním na prekážky v blízkosti používateľa. Lepším riešením by bolo zariadenie, ktoré môže nahradiť zrakovo postihnutého asistenta poskytnutím informácií o polohe prekážok, aby nevidomý mohol vyjsť von v neznámom prostredí a cítiť sa bezpečne. Počas tohto projektu bolo vyvinuté malé zariadenie poháňané batériami, ktoré spĺňa tieto kritériá. Zariadenie môže detegovať veľkosť a polohu objektu pomocou senzorov, ktoré merajú polohu objektov vo vzťahu k používateľovi, prenášajú tieto informácie do mikrokontroléra a potom ich prevádzajú na zvuk, aby poskytovali informácie používateľovi. Zariadenie bolo skonštruované s využitím dostupných komerčných systémov LIDAR (Light Detection and Ranging), SONAR (Sound Navigation and Ranging) a počítačového videnia prepojených s mikrokontrolérmi a naprogramovaných tak, aby poskytovali požadovaný zvukový informačný výstup pomocou slúchadiel alebo slúchadiel. Detekčná technológia bola zabudovaná do „bielej palice“, aby ostatným naznačila stav používateľa a poskytla dodatočnú bezpečnosť.

Krok 2: Pozadie výskumu

V roku 2017 Svetová zdravotnícka organizácia uviedla, že na celom svete je 285 miliónov ľudí so zrakovým postihnutím, z toho 39 miliónov je úplne slepých. Väčšina ľudí nemyslí na problémy, s ktorými sa zrakovo postihnutí stretávajú každý deň. Podľa World Access for the Blind je fyzický pohyb jednou z najväčších výziev pre nevidomých. Cestovanie alebo obyčajná prechádzka preplnenou ulicou môže byť veľmi náročná. Z tohto dôvodu mnoho ľudí so zrakovým postihnutím dáva prednosť tomu, aby si so zorientovaním v novom prostredí priniesli vidiaceho priateľa alebo člena rodiny. Tradične bolo jediným riešením použitie bežne známej „bielej palice“, ktorá sa používa predovšetkým na skenovanie okolia narážaním na prekážky v blízkosti používateľa. Lepším riešením by bolo zariadenie, ktoré môže nahradiť zrakovo postihnutého asistenta poskytnutím informácií o polohe prekážok, aby nevidomý mohol vyjsť von v neznámom prostredí a cítiť sa bezpečne. NavCog, spolupráca medzi IBM a Carnegie Mellon University, sa pokúsila vyriešiť tento problém vytvorením systému, ktorý ako sprievodca používa majáky Bluetooth a smartfóny. Riešenie však bolo ťažkopádne a ukázalo sa, že je veľmi nákladné pre rozsiahle implementácie. Moje riešenie to rieši tak, že eliminuje potrebu externých zariadení a používa používateľa na celodenné používanie hlasu (obrázok 3). Výhodou začlenenia technológie do „bielej palice“je, že signalizuje zvyšku sveta stav používateľa, ktorý spôsobuje zmenu v správaní okolitých ľudí.

Krok 3: Požiadavky na dizajn

Po preskúmaní dostupných technológií som diskutoval o možných riešeniach s odborníkmi na videnie o najlepšom prístupe k pomoci zrakovo postihnutým orientovať sa vo svojom prostredí. Nasledujúca tabuľka uvádza najdôležitejšie funkcie, ktoré niekto potrebuje na prechod na moje zariadenie.

Funkcia - Popis:

• Výpočet- systém musí zabezpečiť rýchle spracovanie vymieňaných informácií medzi používateľom a senzormi. Systém napríklad musí byť schopný informovať užívateľa o prekážkach vpredu, ktoré sú vzdialené najmenej 2 m.
• Pokrytie - systém musí poskytovať svoje služby vnútri aj vonku, aby zlepšil kvalitu života ľudí so zrakovým postihnutím.
• Čas - Systém by mal fungovať rovnako dobre vo dne, ako aj v noci.
• Rozsah - rozsah je vzdialenosť medzi používateľom a objektom, ktorý má systém detekovať. Ideálny minimálny dosah je 0,5 m, pričom maximálny dosah by mal byť viac ako 5 m. Ďalšie vzdialenosti by boli ešte lepšie, ale náročnejšie na výpočet.
• Typ objektu - systém by mal zistiť náhly vzhľad predmetov. Systém by mal byť schopný rozpoznať rozdiel medzi pohybujúcimi sa predmetmi a statickými predmetmi.

Krok 4: Technický návrh a výber zariadenia

Po prezretí mnohých rôznych komponentov som sa rozhodol pre diely vybrané z nižšie uvedených rôznych kategórií.

Cena vybraných dielov:

• Zungle Panther: 149,99 dolárov
• LiDAR Lite V3: 149,99 dolárov
• LV-MaxSonar-EZ1: 29,95 dolárov
• Ultrazvukový senzor - HC -SR04: 3,95 dolárov
• Raspberry Pi 3: 39,95 dolárov
• Arduino: 24,95 dolárov
• Kinect: 32,44 dolárov
• Floureon 11,1 v 3 s 1 500 mAh: 19,99 dolárov
• LM2596HV: 9,64 dolára

Krok 5: Výber zariadenia: Spôsob interakcie

Ako metódu interakcie so zariadením som sa rozhodol použiť hlasové ovládanie, pretože mať viac tlačidiel na palici môže byť pre zrakovo postihnutého človeka náročné, najmä ak niektoré funkcie vyžadujú kombináciu tlačidiel. Vďaka hlasovému ovládaniu môže používateľ používať prednastavené príkazy na komunikáciu s holí, čo znižuje potenciálne chyby.

Zariadenie: Klady --- Nevýhody:

• Tlačidlá: Pri stlačení pravého tlačidla nedochádza k chybe príkazu --- Zabezpečiť stlačenie správnych tlačidiel môže byť náročné
• Ovládanie hlasom: Jednoduché, pretože používateľ môže používať prednastavené príkazy --- Nesprávna výslovnosť môže spôsobiť chyby

Krok 6: Výber zariadenia: Mikrokontrolér

Zariadenie používalo Raspberry Pi kvôli jeho nízkym nákladom a dostatočnému výpočtovému výkonu na výpočet mapy hĺbky. Intel Joule by bol preferovanou možnosťou, ale jeho cena by zdvojnásobila náklady na systém, čo by nebolo ideálne pre toto zariadenie, ktoré bolo vyvinuté tak, aby poskytovalo používateľom nižšie náklady. Arduino bolo použité v systéme, pretože môže ľahko získať informácie zo senzorov. BeagleBone a Intel Edison neboli použité kvôli nízkemu pomeru ceny k výkonu, ktorý je pre tento nízkonákladový systém zlý.

Mikrokontrolér: klady --- mínusy:

• Raspberry Pi: Má dostatočný výpočtový výkon na nájdenie prekážok a má integrovanú wifi/bluetooth --- Nie je veľa možností na príjem údajov zo senzorov
• Arduino: Jednoducho prijímajte údaje z malých senzorov. tj. LIDAR, Ultrazvuk, SONAR atď. --- Nedostatok výpočtového výkonu na nájdenie prekážok
• Intel Edison: Dokáže rýchlo spracovať prekážky s rýchlym procesorom --- Na fungovanie systému vyžaduje ďalšie vývojárske kúsky
• Intel Joule: Má dvojnásobnú rýchlosť spracovania než ktorýkoľvek z doterajších mikrokontrolérov na spotrebiteľskom trhu --- Veľmi vysoké náklady na tento systém a náročná interakcia s GPIO na interakciu senzorov
• BeagleBone Black: Kompaktný a kompatibilný so senzormi používanými v projekte pomocou univerzálneho vstupného výstupu (GPIO) --- Nedostatok výpočtového výkonu na efektívne nájdenie predmetov

Krok 7: Výber zariadenia: Senzory

Na dosiahnutie vysokej presnosti určenia polohy sa používa kombinácia niekoľkých senzorov. Kinect je hlavný senzor, pretože dokáže naraz vyhľadať prekážky. LIDAR, čo znamená Detekcia a dosah svetla, je metóda diaľkového snímania, ktorá používa svetlo vo forme pulzného laseru na meranie vzdialeností od miesta, kde sa senzor rýchlo nachádza k objektom; tento senzor sa používa, pretože dokáže sledovať oblasť vzdialenú až 40 metrov (m) a keďže dokáže skenovať pod rôznymi uhlami, dokáže zistiť, či nejaké kroky smerujú nahor alebo nadol. Sonarové a sonarové sondy SOund a Ultrazvukové senzory sa používajú ako záložné sledovanie v prípade, že Kinectu unikne stĺp alebo náraz do zeme, ktorý by predstavoval nebezpečenstvo pre používateľa. Senzor 9 stupňov slobody sa používa na sledovanie smeru, ktorým je používateľ otočený, aby zariadenie mohlo ukladať informácie pre presnejšie nasmerovanie pri najbližšej návšteve osoby na rovnakom mieste.

Senzory: Klady --- Nevýhody:

• Kinect V1: Dokáže sledovať 3D objekty pomocou --- Iba jednej kamery na detekciu okolia
• Kinect V2: má 3 infračervené kamery a červenú, zelenú, modrú a hĺbkovú (RGB-D) kameru na vysoko presnú detekciu 3D objektov --- môže sa zahrievať a môže potrebovať chladiaci ventilátor a je väčší ako ostatné senzory
• LIDAR: Lúč, ktorý dokáže sledovať polohy až do vzdialenosti 40 m --- Musí byť umiestnený smerom k objektu a môže sa pozerať iba týmto smerom
• SONAR: Lúč, ktorý môže sledovať 5 m, ale na diaľku --- Snímač môžu spustiť malé predmety, ako napríklad perie
• Ultrazvukové: má dosah až 3 m a je veľmi lacné --- vzdialenosti môžu byť príležitostne nepresné 9
• Snímač stupňov slobody: Dobrý na snímanie orientácie a rýchlosti používateľa --- Ak niečo prekáža senzorom, výpočty vzdialenosti je možné nesprávne vypočítať

Krok 8: Výber zariadenia: Software

Zvolený softvér pre prvých niekoľko prototypov vyrobených pomocou senzora Kinect V1 bol Freenect, ale nebol príliš presný. Pri prechode na Kinect V2 a Freenect2 sa výsledky sledovania výrazne zlepšili vďaka vylepšenému sledovaniu, pretože V2 má HD kameru a 3 infračervené kamery oproti jednej kamere na Kinect V1. Keď som používal OpenNi2 s Kinect V1, funkcie boli obmedzené a niektoré funkcie zariadenia som nemohol ovládať.

Softvér: Klady --- Nevýhody:

• Freenect: Má nižšiu úroveň ovládania všetkého --- Podporuje iba Kinect V1
• OpenNi2: Môže ľahko vytvárať údaje mračna bodov z informačného toku z Kinectu --- Podporuje iba Kinect V1 a nemá podporu pre kontrolu na nízkej úrovni
• Freenect2: Má nižšiu úroveň ovládania senzorovej lišty --- Funguje iba pre Kinect V2
• ROS: Operačný systém ideálny na programovanie funkcií fotoaparátu --- Je potrebné ho nainštalovať na rýchlu kartu SD, aby softvér fungoval

Krok 9: Výber zariadenia: Ostatné diely

Lítium -iónové batérie boli vybrané kvôli tomu, že sú ľahké, majú vysokú kapacitu a sú nabíjateľné. Lítium -iónová batéria 18650 má valcovitý tvar a dokonale zapadá do prototypu trstiny. Prvý prototyp trstiny je vyrobený z PVC rúrky, pretože je dutý a znižuje hmotnosť palice.

Krok 10: Vývoj systému: Vytvorenie hardvéru, časť 1

Najprv musíme Kinect rozobrať, aby bol ľahší a aby sa zmestil dovnútra trstiny. Začal som odstránením celého vonkajšieho plášťa z Kinectu, pretože použitý plast váži VEĽA. Potom som musel kábel prestrihnúť, aby sa dala odstrániť základňa. Vzal som vodiče z konektora zobrazeného na obrázku a spájkoval som ich s káblom USB so signálnymi vodičmi a ďalšie dve pripojenia boli pre vstupný výkon 12V. Keďže som chcel, aby ventilátor vo vnútri trstiny bežal na plný výkon, aby ochladil všetky ostatné komponenty, odpojil som konektor od ventilátora od Kinectu a zapojil 5 V od Raspberry Pi. Vyrobil som tiež malý adaptér pre vodič LiDAR, aby sa mohol pripojiť priamo k Raspberry Pi bez ďalších systémov medzi tým.

Náhodne som spájkoval biely drôt s čiernym, takže sa nepozerajte na obrázky, kde nájdete schémy zapojenia

Krok 11: Vývoj systému: Vytvorenie hardvéru, časť 2

Vytvoril som regulátor, aby poskytoval napájanie všetkým zariadeniam, ktoré vyžadujú 5V, ako napríklad Raspberry Pi. Regulátor som vyladil tak, že som na výstup umiestnil merač a nastavil odpor tak, aby regulátor poskytoval 5,05V. Dal som to o niečo vyššie ako 5V, pretože v priebehu času napätie batérie klesá a mierne ovplyvňuje výstupné napätie. Tiež som vyrobil adaptér, ktorý mi umožňuje napájať až 5 zariadení, ktoré vyžadujú 12 V z batérie.

Krok 12: Vývoj systému: Programovanie systému, časť 1

Veľká cena v hlasom aktivovanej výzve