Sklo Google pre chudobného/Pomoc pre ľudí s videním tunela: 5 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Abstrakt:

Tento projekt streamuje živé video z kamery typu rybie oko na nositeľný heads-up displej. Výsledkom je širšie zorné pole v menšej oblasti (zobrazenie je porovnateľné so 4 -palcovou obrazovkou vzdialenou 12 palcov od vášho oka a výstupmi je 720p). Primárnym účelom je poskytnúť väčšiu priestorovú informovanosť osobám s Retinitis Pigmentosa (skrátene RP), degeneratívnym ochorením očí, ktoré má za následok tunelové videnie (je porovnateľné s neustálym pozeraním sa cez rolku toaletného papiera). To je povedané, pretože projekt je založený na RPi, existuje široká škála možných aplikácií (niektoré z nich budú diskutované na konci).

Zoznam materiálov:

• (1) Raspberry Pi Zero (5 dolárov) (Raspberry Pi Zero W funguje tiež)

• (1) Karta Micro SD pre Raspberry Pi (8 dolárov) (obyčajná karta Micro SD, nič zvláštne. Odporúčané minimum 8 GB v úložisku)

  • Externé RPi: (nepotrebujete ich, ak ich už vlastníte alebo ak máte iný model RPi)

    • (1) USB adaptér (5 dolárov)
    • (1) Kábel mini HDMI na HDMI (6 dolárov) (s dostatočne dobrým zrakom môže byť Vufine použitý ako monitor, čím sa eliminuje potreba tohto kábla)
• (1) Vufine Wearable Display (200 dolárov)

• (1) Plochý kábel Micro to Mini HDMI (10 dolárov) (bol prerušený, pozrite si nižšie uvedené odrážky)

  • HDMI adaptéry

    (Typ C a typ D; dúfajme, že model uvediem neskôr tento víkend (dnes je 2.3.2018)) (Adafruit predáva aj tieto konektory, ale sú drahšie)

  • Pásový kábel HDMI
• (2) Micro USB kábel (1 až 5 dolárov za kus) (iba 2 bežné káble micro USB, nič zvláštne)
• (1) Kamera Fish-Eye pre Raspberry Pi (25 dolárov)
• (1) Kábel kamery Raspberry Pi (8 dolárov)
• (1) Balíček malých zapínaní na zips (3 doláre)

Celkové náklady: ~ 265 USD (závisí od toho, čo už máte a koľko zaplatíte za dopravu)

Zoznam nástrojov:

• Strihač káblov
• Odizolovacie kliešte (pre veľkosti drôtov asi 26 AWG)
• Horúca lepiaca pištoľ (a lepiaca tyčinka pre uvedenú horúcu lepiacu pištoľ)
• Klávesnica
• Obrazovka (musí byť kompatibilná s HDMI, ale opäť, s dostatočne dobrým zrakom, môže byť Vufine použitý ako monitor)
• Spájkovačka (a spájka)
• Nôž X-Acto

Osobná poznámka:

Tento projekt bol inšpirovaný mojou babičkou. Dávno jej diagnostikovali RP a jej zrak sa za tie roky zhoršuje. Nedávno sa rozhodla, že sa kvôli veku vzdá psa so zrakom, Ventury (prezývanej Seymour, slovná hračka). Aj keď to v niektorých aspektoch mohlo uľahčiť život, som si istý, že ostatné veci sú ešte triviálnejšie (napríklad prechádzka obchodným centrom). Už som nejaký čas zvažoval výrobu takého zariadenia, ale neboli k dispozícii žiadne dostupné obrazovky (za rozumnú cenu). To sa zmenilo, keď som našiel Vufine. Je to skvelá spoločnosť so skvelým produktom a nie, nie som platený za to, aby som to povedal; je to skutočne dobrá spoločnosť. Pokiaľ ide o moju starú mamu, oznámila, že toto zariadenie jej takmer zdvojnásobilo zorné pole (pokiaľ ide o priemer, nie plochu).

Aktualizácia:

Postavil som to s modulom Vufine nakonfigurovaným pre ľavé oko (moja stará mama je na pravé oko úplne slepá), takže pre tých, ktorí ho stavajú pre pravé oko, môžu nastať problémy (nič veľké, iba zmena orientácie pre niekoľkých. diely). Ako už bolo povedané, Vufine bol taký láskavý, že mi poslal modul pre pravé oko, aby som mohol pokračovať v tomto projekte a opraviť tieto problémy. Hneď ako to urobím, budem ďalej aktualizovať tento návod.

Krok 1: Nastavenie Raspberry Pi

Nastavenie hardvéru zariadenia Pi:

Poznámka: Ak máte iný Raspberry Pi než RPi Zero (W alebo bežný), môžete pomocou tohto Pi vykonať potrebné úpravy softvéru a preniesť kartu SD na Pi Zero.

Druhá poznámka: V skutočnosti som nekúpil časť hardvéru, ktorý sa pripája k Pi; Namiesto toho mám pohodlný klobúk. Ako už bolo povedané, na obrázku vyššie je to, ako by malo vyzerať vaše nastavenie. Nie je môj a bol odtiaľ prevzatý.

Najprv zapojíme klávesnicu. Pretože vaša klávesnica má konektor USB typu A (všadeprítomný obdĺžnikový) a Pi Zero nie, budeme musieť použiť USB adaptér. Pripojte USB adaptér do USB portu najbližšie k stredu dosky. Potom zapojte klávesnicu do adaptéra USB. Druhý port USB bude slúžiť na napájanie. Dva horné káble na obrázku sú káble USB a úplne horný kábel zaisťuje napájanie.

Za druhé, zapojte kábel HDMI do mini HDMI portu na zariadení Pi a portu HDMI na obrazovke (ak ste sa rozhodli používať obrazovku Vufine ako obrazovku, použite plochý kábel HDMI).

Nastavenie softvéru Pi:

Tento proces je všade zdokumentovaný, ale oficiálny sprievodca je tu. Je dôležité si uvedomiť niekoľko vecí: budete používať kartu micro SD, ktorú ste si kúpili (tá, ktorú som si vybral, má adaptér, aby ste ju mohli používať s bežným počítačom), inštalujete Raspbian a mali by ste povoliť fotoaparát v konfiguračnej ponuke Raspberry Pi. Okrem toho NERIEŠTE sa návodom na spustenie „startx“. Ak ste to urobili, nie je to náročné, ale teraz budete potrebovať myš. Prejdite na príkazový riadok (na paneli úloh by mal vyzerať ako čierne okno) a použite ho (v tomto okne by sa malo objaviť „pi@raspberry ~ $“). Teraz vypneme Raspberry Pi vykonaním:

sudo shutdown -h teraz

Krok 2: Inštalácia kamery

Fyzické pripojenia:

Najprv mi dovoľte vysvetliť, ako fungujú pripojenia plochým káblom. Na pripojenie a odpojenie plochých káblov je potrebné najskôr nadvihnúť bočné úchytky (v prípade Pi Zero je to smer von), ktoré umožnia konektoru do určitej miery sklopiť dovnútra a von, čím sa umožní prechod plochého kábla. dnu a von. Aby ste zaistili plochý kábel na mieste (a tým dokončili proces pripojenia), musíte skladací kus konektora pritlačiť na plocho ku káblu a znova zasunúť zarážky. Kábel by mal byť teraz zaistený v konektore. Kliknite sem, ak chcete vidieť oficiálne video o tom, ako sa to robí.

Je dôležité poznamenať, že biely kábel dodaný s kamerou sa nehodí pre Pi Zero; nezabudnite ho nahradiť jedným zo zlatých páskových káblov. Okrem toho sa uistite, že nekrytá strana kábla smeruje nadol, do Pi a dosiek kamery.

Softvér:

Nastavenie fotoaparátu je po softvérovej stránke pomerne jednoduché. Ak chcete streamovať video priamo z fotoaparátu do HDMI, jednoducho spustite nasledujúci riadok v termináli:

raspivid -t 0 -rot 0

Fotoaparát by teraz mal streamovať na vašu obrazovku. Teraz zastavte stream stlačením klávesov ctrl+c. Teraz budeme vykonávať ten istý príkaz, ale ak ste si kúpili štandardný modul Vufine (nakonfigurovaný pre pravé oko), zmeňte 0 za „-rot“na 90. Podobne, ak ste si kúpili displej Vufine nakonfigurovaný pre ľavé oko, zmeňte 0 po „-rot“na 270.

Ak teraz fotoaparát priložíte k displeju Vufine podobným spôsobom, akým je zobrazený na fotografii, mali by ste vidieť vzpriamený obraz (na obrazovke, nie nevyhnutne na Vufine). Ak je váš obrázok hore nohami, skúste iné číslo (270, ak ste urobili 90 predtým a 90, ak ste urobili 270 predtým; stále musíte stlačiť ctrl+c, aby ste sa dostali von zo streamu).

Akonáhle budete mať stream kamery správne orientovaný (prostredníctvom softvéru), budeme sa chcieť uistiť, že sa spustí vždy, keď je Raspberry Pi zapnutý. Prvým krokom je spustenie:

sudo nano /etc/rc.local

Teraz napíšte príkaz podobný tomu, ktorý ste vykonali predtým ("/usr/bin/raspivid -t 0 -rot 90/270") do riadkov medzi "fi" a "exit 0" (ponechajte ho na jednom riadku, ako je vidieť na obrázku). Ak chcete obrázok s nižším rozlíšením a vyššou snímkovou frekvenciou, použite namiesto neho „/usr/bin/raspivid -t 0 -rot 90/270 -md 6“. Po zadaní textu by ste ho mali uložiť stlačením klávesov ctrl+x, zadaním y (áno, chcete ho uložiť) a stlačením klávesu Enter ho uložte pod rovnakým názvom. Teraz by ste sa mali vrátiť na príkazový riadok („pi@raspberry ~ $“). Nakoniec môžete otestovať, či všetko funguje, reštartovaním Raspberry Pi pomocou:

sudo reštart

Ak všetko funguje, na konci procesu zavádzania by ste mali vidieť kameru streamujúcu video na výstup HDMI.

Poznámky:

• Po dokončení vyššie uvedeného budete chcieť zvážiť použitie malého množstva horúceho lepidla na plochý kábel/konektor vo fotoaparáte aj v zariadení Pi, aby ste sa uistili, že zostane na svojom mieste. Toto je čisto voliteľné a je to niečo, čo som v skutočnosti nerobil.
• Ak máte displej Vufine nakonfigurovaný pre pravé oko a rozhodnete sa ho orientovať inak (je to pohodlnejšie, ak sú porty USB Pi v spodnej časti), horná strana fotoaparátu bude v prípade, že ho máte, vľavo.
• Kamera na obrázku je už namontovaná. K tomu sa dostaneme v neskoršom kroku.
• Chcel som zverejniť obrázok konektora fotoaparátu na počítači Pi, ale nechcem ho zložiť, ak ho nemôžem znova nasadiť a stratil som všetky zipsy (ktoré uvidíte, sú nevyhnutné) pre jeho neskorší krok) a nie som si istý, kedy budem môcť ísť kúpiť ďalšie, takže som sa rozhodol jednoducho nahrať teraz a aktualizovať neskôr.

Krok 3: Nabíjanie displeja Vufine

Displej Vufine má vlastnú batériu, ktorá však trvá iba 90 minút, a aj keď to môže na zamýšľané použitie Vufine stačiť, na naše účely to nestačí. To znamená, že Vufine môžeme nabíjať, keď sa používa, a predĺžiť tak jeho životnosť. Bežné USB káble sú však dosť veľké a keďže chceme minimalizovať hmotnosť, budeme musieť jeden upraviť (čím bude tento proces menší a ľahší); odpojíme kábel USB až na úplné minimum.

Poznámka: Vo zvyšku tohto kroku je podrobne uvedené, ako získať konektor z kábla USB. Ako už bolo povedané, bol som informovaný o týchto lacných (nákladovo) konektoroch USB. Ich použitie by vám umožnilo preskočiť nebezpečnú časť vyberania konektora z drôtu. Nemám s nimi žiadne skúsenosti, ale keď to urobím, aktualizujem tento návod, ako ich používať.

Príprava kábla USB

Poznámka: Toto je zďaleka najnebezpečnejšia časť zostavy. Okolo ostrých nožov je potrebná mimoriadna opatrnosť

Prvým krokom „minimalizácie“kábla USB je jeho skrátenie o 5 palcov (pri konfigurácii pravého oka by som povedal, že asi 7) nahor od konca micro USB. Pokračujte odizolovaním drôtu až po micro USB koniec.

Teraz, pre nebezpečnú časť, budete musieť odrezať plastový obal pomocou noža X-Acto. Odporúčam použiť sadu klieští alebo stolný zverák na držanie zástrčky pri jej rezaní, aby ste minimalizovali riziko porezania. Najlepším spôsobom, ako ho odrezať, je odstrihnúť pozdĺž švíkov na boku (vyzerajú ako čiary), ako je vidieť na obrázku. Na vykopanie noža do puzdra by ste mali použiť slušné množstvo sily. Po určitom čase sa môže jedna strana „otáčať“smerom von a podľa toho, ako je voľná, sa môžete rozhodnúť použiť pár klieští na odtrhnutie zvyšku, a nie ho odrezať.

Dokončovanie kúska USB

Akonáhle vám zostane len kovový kus, mali by ste odstrániť dva stredné vodiče (nie červené a čierne). Môžete to urobiť tak, že ich odrežete alebo použijete spájkovačku na odpájanie ich spojov a jednoducho ich rozoberiete (navrhujem odspájkovať, ak máte dostatok skúseností). Potom položte horúce lepidlo na základňu vodičov (kde sa stretávajú so zástrčkou Micro USB), aby poskytli izolátor a zaistili jeho bezpečnosť. Keď skončíte, obrázok by mal vyzerať podobne ako USB na obrázku (zatiaľ sme ho však nepripojili k Pi).

Pripojenie k Pi

Tento krok je pomerne jednoduchý. Jediné, čo musíte urobiť, je spájať červený vodič s 5 V portom a čierny vodič s uzemnením (GND) na RPi. Ak chcete presne vidieť, ktoré porty, pozrite si obrázok s červeným obdĺžnikom na Pi. Kliknite sem, ak si chcete pozrieť video o základnom spájkovaní. Odporúčam vám použiť horúce lepidlo na oboch stranách Pi (kde ste spájkovali) na zaistenie vodičov a zabezpečenie izolátora.

Krok 4: Pripojenie všetkého

Zabezpečenie Pi

V tomto mieste umiestnite Pi proti modulu Vufine s portom pre fotoaparát v blízkosti prednej strany a konektormi USB (nainštalovanými na Pi) smerom nadol a dovnútra. Zaistite ho pomocou dvoch párov (jeden pár na každú stranu) zipsov. Vykonajte to tak, že prevlečiete zapínanie na zips cez jeden z horných rohových otvorov na koláči, omotáte ho Vufine (nadol) a prevlečiete spodným rohovým otvorom na tej istej strane Pi. Potom vezmite ďalší zips a zapnite ho na prvom. Utiahnite ho tak, aby bol Pi pritiahnutý blízko k Vufine. Odstrihnite zvyšné telo zapínania na zips pre obidva zipsy (všetko pre druhé a časť, ktorá vyčnieva z druhého zipsu pre prvé). Tento krok zopakujte na druhej strane Pi.

Zapojenie vecí

Toto je možno najjednoduchší krok z celej zostavy. Pripojte kábel USB, ktorý ste spájkovali, k Pi na displeji Vufine.

Horúce lepenie konektora

Magnet v magnetickej dokovacej stanici nie je pre naše účely skutočne dostatočne silný, takže na posilnenie spojenia pridáme horúce lepidlo. Pripojte modul Vufine k magnetickej dokovacej stanici, ktorá je súčasťou balenia (nie plus), popruhom hore (ako je znázornené na obrázku). Uistite sa, že je takmer rovnobežný so skutočným Vufine (polohu displeja budete môcť stále upravovať pohybom remienka na okuliaroch). Na hornú aj dolnú časť naneste dostatočné množstvo horúceho lepidla. Pred pokračovaním nechajte vychladnúť, aby ste sa uistili, že nie je zaradený do podivnej polohy, kým nestuhne.

Zapájanie vecí, pokračovanie

Aj keď táto časť nie je taká jednoduchá ako prvé zapojenie vecí, nemali by ste sa príliš namáhať. Jednoducho zapojte plochý kábel HDMI do Vufine aj do Pi (boj je viac psychologický ako fyzický; zvládnete to. Verím vám).

Pripojenie fotoaparátu

Konfigurácia ľavého oka:

Je to jednoduchá časť, ale kvôli polohe kamery je ťažké ju opísať slovami. Fotoaparát v zásade pripevníte tak, aby bol nabok, a aby pod ním bolo prevlečené stužkové lanko. Na obrázku vidíte, čo tým myslím. Pritlačte ho na obrazovku Vufine a zaistite ho v tejto polohe nanesením horúceho lepidla na hornú aj dolnú časť. Na strany by som žiadne nedával, pretože postačuje iba na vrchnú a spodnú stranu, aby to zaistilo, a bočné to môže zabrániť akémukoľvek bočnému nastaveniu pásky a obrazovky Vufine.

Konfigurácia pravého oka:

Predtým som nevykonal správnu konfiguráciu očí (vráti sa a upravím, akonáhle to urobím), ale v zásade sa musíte uistiť, že fotoaparát je nabok a v rozumnej polohe v hornej časti obrazovky. Horná časť (strana oproti konektoru) by mala smerovať doľava (vľavo, keď ju máte na sebe). Pomocou horúceho lepidla pripevnite fotoaparát k dielu obrazovky v module Vufine. Okrem toho môžete použiť horúce lepidlo (alebo popruhy na zips), aby ste sa presvedčili, že je nadbytočný plochý kábel zaistený (dajte mu nejaký voľný priestor pre nastaviteľnosť a snažte sa stuhu nemačkať, pretože nie je určená na to, aby vydržala vysoké stupne otáčania). Môžete sa tiež vrátiť k kroku 2: Inštalácia kamery, ak musíte prekonfigurovať stream kamery v dôsledku zmeny jej fyzického umiestnenia.

Krok 5: Fin

Zapnutie

Ak ho chcete zapnúť, jednoducho zapnite modul Vufine stlačením sivého tlačidla na zadnej strane. Malo by začať modro blikať. Potom zapojte Pi Zero pomocou úplne pravého portu USB (na vonkajšej strane a označeného PWR IN). Teraz by ste mali okrem blikajúcej modrej diódy LED na module Vufine vidieť aj neprerušované červené svetlo. To znamená, že Vufine sa nabíja. Okrem toho by sa mala spustiť obrazovka a mali by ste vidieť, ako Pi prechádza procesom zavádzania a na konci sa blíži prúd kamery. Hneď ako sa obrazovka objaví, blikajúce modré svetlo na tlačidle Vufine by malo zhasnúť.

Poznámka: Ak najskôr zapnete Pi (potom Vufine), vaša obrazovka môže vyzerať divne. Ak to chcete vyriešiť, vypnite Pi a potom ho znova zapnite.

Vypnutie

Vypnite RPi odpojením USB, ktoré ho napája. Ak chcete Vufine vypnúť, môžete ho buď nechať vypnúť sám (čo urobí po krátkom čase, keď neprijme signál), alebo môžete na Vufine podržať sivé tlačidlo (s modrou diódou LED), kým modrá LED dióda zhasne. Radšej to nechám vypnúť, ale ty to robíš.

Ďalšie vylepšenia

Ako je uvedené v abstrakte, pretože projekt je založený na Raspberry Pi, projekt má obrovskú schopnosť vyvíjať sa. Na úvod uvádzam niekoľko myšlienok, ktoré som mal:

• Môžete ho pripojiť k bezdrôtovej klávesnici a pohodlne ho tak používať ako heads-up linuxový počítač. Klávesnicu (a myš) by som použil takto a zapojil by som ju podobným spôsobom.

  Bolo by skvelé pridať aj takéto rozhranie založené na ručnom pohybe

• Pridajte bočné tlačidlá na ukladanie fotografií a videí a na približovanie a odďaľovanie
• Pridajte natívny vypínač (hovorím natívny, pretože niektoré káble USB majú zabudované prepínače)
• Vyrobte si na všetko puzdro s 3D potlačou.
• Pridajte zvukový výstup

• Pridajte nástavec na batériu

  Umiestnenie na druhú stranu okuliarov by bolo pohodlným spôsobom, ako pridať protiváhu (hmotnosť okuliarov je v súčasnosti trochu pokrivená)

• Vytvorte CNN (konvolučnú neurónovú sieť) s výstupom TTS (prevod textu na reč) pre zvukový popis vlastného prostredia. Táto neurónová sieť by mohla fungovať na pohyblivom zariadení Movidius Neural Compute Stick, aby získala viac výpočtového výkonu.

  Možné použitie Galvanická vestibulárna stimulácia na núdzové manévre

Niektoré z týchto myšlienok môžete implementovať na mojej stránke github.

Poznámka:

Neskôr pravdepodobne pridám ďalšie obrázky. Ak chcete nejaký konkrétny obrázok, dajte mi prosím vedieť a ja sa budem snažiť. To isté platí pre vysvetlenia; ak chceš, aby som sa niečomu podrobnejšie venoval, daj mi vedieť a pokúsim sa to dotiahnuť do konca.

Ďakujem

• Od tejto komunity som sa veľa naučil; dúfajme, že to pomôže iným, pretože toľko ľudí mi už predtým pomohlo.
• Opäť je to môj prvý pokyn a veľmi by som ocenil akúkoľvek spätnú väzbu. Ak s tým niekto niečo robí, dajte mi prosím vedieť; Rád by som videl, kde to komunita berie.

Osobitné poďakovanie patrí mojej babičke za všetko, čo pre mňa počas celého života robila. Nikdy vám nebudem môcť vrátiť peniaze, ale určite sa budem snažiť.

Prvá cena v súťaži Raspberry Pi Contest 2017