PiTextReader-ľahko použiteľná čítačka dokumentov pre zhoršené videnie: 8 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:59

Prehľad

Aktualizácia: Krátke video demo:

PiTextReader umožňuje osobám so zhoršeným zrakom „čítať“text z obálok, listov a iných položiek. Nasníma obrázok položky, prevedie ho na obyčajný text pomocou OCR (Optical Character Recognition) a potom nahovorí text pomocou prevodu textu na reč.

Čítačka je navrhnutá tak, aby bola čo najjednoduchšia na používanie. Nie je potrebný žiadny internet, žiadne grafické rozhranie, iba jedno tlačidlo. Položku, ktorú chcete prečítať, jednoducho položte na stojan a stlačte tlačidlo. Po chvíli sa im text znova prečíta.

Navrhol som to pre staršieho rodiča s problémami so zrakom, ako je makulárna degenerácia, ale môže byť použitý širšie pre každého, kto chce tlačený text preložený do zvukovej reči.

K dispozícii je veľa čítačiek, väčšinou stoja tisíce dolárov alebo sú pre niekoho, kto je technicky zdatný a vyžaduje pripojenie k internetu a používanie inteligentného telefónu. Táto čítačka je navrhnutá tak, aby bola úplne samostatná bez internetu a rozhrania okrem veľkého tlačidla.

Pros

• Jedno tlačidlo na ovládanie
• Nevyžaduje sa žiadne internetové pripojenie
• Žiadne grafické používateľské rozhranie na navigáciu
• Celkové náklady nižšie ako 100 dolárov
• Vždy pripravený ísť

Zápory

• OCR môže byť obmedzené kvôli písmam, farbám, veľkosti textu atď.
• Reč znie ako Stephen Hawking
• Funguje najlepšie pre malé časti čierneho textu na bielom papieri.

Krok 1: Hardvér

• Raspberry Pi 3 (potrebuje konské sily!)
• 8 GB + karta micro SD
• Napájanie 5v 2A DC pre Raspberry
• Kamera Raspberry Pi (bežná alebo NoIR)
• 24 -palcový kábel kamery Raspberry Pi
• Držiak fotoaparátu alebo puzdro https://www.adafruit.com/product/3253 alebo
• Nástroj na úpravu objektívu (na zaostrenie fotoaparátu)
• Monofónny reproduktor napájaný USB (uprednostňuje sa malá veľkosť!)
• Veľké tlačidlo - krátkodobé s LED diódami
• Rezistor 330 ohm pre vyššie uvedenú LED diódu
• Drevená škatuľka 8 x 8 x 2 palcov od spoločnosti Michaels alebo iných veľkých obchodov s umeleckými potrebami.
• Šrot z dreva na stavbu stojana na fotoaparát:
• Plochý pás 8”Dx1” Šx1/2”T
• Plochý pás 5”Lx1” Šx1/4”T.
• Štvorhranná hmoždinka 6”Lx1/2” x1/2”pre vodítko umiestnenia
• Skrutky, lepidlo, drôt, spájka atď.

Krok 2: Konštrukcia hardvéru

Použitie poľa 8”x8”:

1. V zadnej časti vyvŕtajte otvor pre napájací kábel.

2. V pravom prednom rohu vyvŕtajte otvor pre dočasné tlačidlo3. Vyvŕtajte otvory v reproduktoroch. (pozri zvukový krok 12 nižšie)

4. Na upevnenie fotoaparátu som použil kus 2 “x1/4“x13”hliníkového pásu, ale fungujú aj drevené pásy.

a. Namontujte 8”plochý drevený pás na zadnú stranu VEKU škatule. (uistite sa, že je pripevnený k VÍKU a nie k spodnej časti škatule, inak ho nebudete môcť otvoriť!)

b. Namontujte 5”plochý drevený pás na 8” vertikálu pomocou skrutiek a lepidla. UPOZORNENIE, že výška fotoaparátu určuje veľkosť dokumentu a potrebné zaostrenie. Pri dokumentoch väčších oblastí môžete chcieť ísť vyššie.

5. Vyrežte 1”x1/16” štrbinu v hornej časti škatule v blízkosti 8”vertikály, aby prešiel kábel kamery.

UPOZORNENIE: Pokiaľ ide o elektroniku, navrhujem ešte NEPOVRŠOVAŤ trvalé namontovanie komponentov, aby ste mohli ľahko vykonávať úpravy.

6. Pripojte 24 -palcový kábel kamery k fotoaparátu. K RASPBERRY sa zatiaľ NEPRIPOJUJTE.

Krok 3: Hardvérová…

7. Namontujte kameru smerom nadol z konca 5 -palcového dreveného pásu. Odporúčam počkať, kým vložíte fotoaparát do puzdra, aby ste po spustení mohli ľahšie zaostriť objektív!

Na počiatočné zaostrovanie použite nastavovací nástroj a otočte objektívom proti smeru hodinových ručičiek o 1/4! otočiť.

8. Veďte kábel kamery cez slot a potom ho pripevnite k Pi. (Uistite sa, že je Pi vypnutý!)

9. Nainštalujte chvíľkové tlačidlo a prepojte káble medzi ním a kolíkmi Pi GPIO 24 a GND. A LED diódy tlačidla pripojte cez odpor 220 ohmov k pinom Pi GPIO 18 a GND.

10. Zapojte napájací zdroj do krabice a zapojte do Pi. Na upchatie otvoru v škatuli musíte použiť odľahčenie ťahu, ako je napríklad tavné lepidlo alebo podobne, aby sa kábel nemohol vytiahnuť.

Krok 4: Inštalácia zvukového hardvéru…

11. Na zvuk som použil mono reproduktor, ktorý používal napájanie USB a zvuk z mini jacku. Vytiahol som elektroniku a reproduktor z pôvodného plastového puzdra a zapojil zvukový konektor do zvukového konektora Pi a kábel USB do Pi USB. Pôvodný malý reproduktor som tiež nahradil väčším 3”reproduktorom, aby bola kvalita zvuku oveľa lepšia.

Keďže som reproduktor namontoval pod veko škatule, vyvŕtal som niekoľko malých otvorov v tvare mriežky reproduktora.

12. Nakoniec skontrolujte pripojenia, najmä kábel kamery a pripojenia GPIO.

NEZAPÍNAJTE PI. Pokračujte najskôr v nastavení softvéru …

Neexistuje žiadny prepínač On/Off, pretože sa predpokladá, že Pi by mal byť spustený stále, takže je pripravený okamžite niečo prečítať. Používa iba niekoľko wattov a môže pracovať 24/7 bez problémov.

Je možné, že sa karta SD poškodí pri odpojení alebo výpadku napájania, ale je to zriedkavé. Ešte som nikdy nemal bootovaciu kartu SD. Nezapájajte však napájací kábel, ktorý je pravidelne vypnutý/zapnutý.

Krok 5: Nastavenie a konfigurácia operačného systému

Naformátujte kartu microSD s veľkosťou 8 GB alebo väčšiu s Raspbian Jessie (alebo Stretch) Lite (pre tento projekt neexistuje grafické rozhranie).

www.raspberrypi.org/downloads/raspbian/

K Raspberry budete potrebovať vzdialený prístup prostredníctvom SSH. V systéme Windows môžete použiť terminálový program PUTTY SSH. Na počítačoch Mac stačí otvoriť okno príkazového terminálu. Alternatívne môžete dočasne pripojiť klávesnicu a monitor HDMI, aby ste ho mohli postaviť, ale s SSH je neskôr jednoduchšie pracovať.

Vedeli ste? Ak nainštalujete Raspbian Jessie na kartu SD pomocou počítača so systémom Windows, môžete na karte vytvoriť dva súbory na konfiguráciu prístupu WiFi a SSH pred spustením systému Raspberry?

Za týmto účelom predpokladajte, že vaša karta SD je v počítači aktuálne nainštalovaná ako K:

1) Nainštalujte najnovší obrázok Raspbian Jessie na SD. Pre tento projekt by mala fungovať Jessie Lite.

2) V programe Poznámkový blok vytvorte súbor s názvom „ssh“a pomocou príkazu Uložiť ako „Všetky súbory“do K: / ssh Súbor môže obsahovať čokoľvek. Dôležitý je názov súboru. Nesmie byť „ssh.txt“!!!

3) V programe Poznámkový blok vytvorte súbor s názvom „wpa_supplicant.conf“takto:

ctrl_interface = DIR =/var/run/wpa_supplicant SKUPINA = netdevupdate_config = 1

sieť = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Použite Uložiť ako „Všetky súbory“do K: / wpa_supplicant.confZnova nenechajte program Poznámkový blok zmeniť ho na „wpa_supplicant.conf.txt“!!

Keď prvýkrát spustíte Raspberry, Jessie ich vyhľadá a pripojí sa k vášmu Wifi. Adresu IP však budete musieť vyhľadať na smerovači, pretože je automaticky priradený pomocou DHCP.

Teraz pripravený na inštaláciu do vášho Pi:

1. Vložte kartu microSD do zariadenia Pi a zapojte napájanie.

2. Na vzdialené prihlásenie do vášho Raspberry Pi budete potrebovať jeho IP adresu. Si môžete vyskúšať:

$ ssh [email protected]

Alebo z Putty zadajte názov hostiteľa: [email protected]

V opačnom prípade budete musieť zistiť, či váš smerovač zobrazuje adresy IP vašich miestnych zariadení.

Po prihlásení ako používateľ pí:

3. Aktualizujte svoj Raspbian OS:

$ sudo apt aktualizácia

$ sudo apt upgrade

4. Nakonfigurujte Raspberry a zapnite fotoaparát:

$ sudo raspi-config

a. Zmeňte heslo používateľa

b. Možnosti rozhrania -> Fotoaparát -> Povoliť

c. Skončiť

d. Reštartovať

Krok 6: Inštalácia aplikačného softvéru

Teraz sa prihláste späť do svojho Pi a ste pripravení nainštalovať aplikáciu PiTextReader.

1. Nainštalujte počiatočný požadovaný softvér: $ sudo apt install git –y

2. Stiahnite si softvér:

$ cd /domov /pi

$ git klon

$ cd PiTextReader

$ sh install.sh

V prípade potreby môžete súbor install.sh bezpečne znova spustiť viackrát.

3. Umiestnite jednoduchý dokument na čítanie a spustite testovací program, ktorý nastaví hlasitosť, prehrá zvuk prevodu textu na reč a urobí fotografiu.

$ sh test.sh

Ak sa vám zobrazia nejaké chybové hlásenia, pozrite sa na Riešenie problémov nižšie. V prípade potreby upravte program test.sh a upravte hlasitosť.

4. Testovací program uloží fotografiu do súboru „test.jpg“. Tento obrázok budete musieť skopírovať do počítača, aby ste videli zaostrenie a zorné pole. Rýchly a špinavý spôsob, ako to urobiť, je spustiť malý webový server na počítači Pi a použiť prehliadač:

$ python -m SimpleHTTPServer 8080 &

Potom prejdite na adresu https:// {IPaddress}: 8080/

Kliknite na test.jpg

Na zaostrenie fotoaparátu použite nástroj na úpravu objektívu.

Znova spustite program test.sh tak často, ako treba.

POZNÁMKA: Ak potrebujete upraviť nastavenia fotoaparátu raspistill, budete musieť tiež upraviť program pitextreader.py s novými nastaveniami.

CAMERA = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo reštart

Pi by sa malo objaviť a spustiť automaticky, pripravené na prevádzku.

Krok 7: Prevádzka

Keď spustíte Pi, budete počuť „OK pripravené“a rozsvieti sa kontrolka LED tlačidla.

Kedykoľvek sa rozsvieti LED dióda, jednotka je pripravená ísť.

Vložte pod fotoaparát nejaký vytlačený text, najlepšie niekoľko riadkov čierneho textu na biely papier.

Fotoaparát nepotrebuje veľa svetla, najmä NoIR. Osvetlenie okolitej miestnosti bolo pre mňa v poriadku. Príliš veľa svetla spôsobuje nerovnomerné osvetlenie a skresľuje OCR.

Stlač tlačidlo.

LED dióda by sa mala rozsvietiť a mal by znieť zvuk klikania kamery, ako aj zvuk „OK funguje“.

Po niekoľkých sekundách by ste si mali prečítať text. Ak je text zdeformovaný, písmo je príliš tmavé alebo príliš svetlé, bokom alebo hlavou nadol, výsledkom bude hltavá reč!

Konvertovanie a začatie čítania môže trvať 5 až 30 sekúnd, buďte preto trpezliví. Čím viac textu, tým dlhšie to trvá.

Ak potrebujete zastaviť čítanie, môžete počas prehrávania zvuku stlačiť tlačidlo (LED dióda nesvieti.)

Keď je reč dokončená, po niekoľkých sekundách sa LED dióda opäť rozsvieti a znova budete počuť „OK pripravené“. Je pripravený vykonať ďalšie skenovanie.

Všimnite si toho, že vzdialenosť fotoaparátu je nastavená pre kameru Raspi a len pre časť dokumentu 8x10. Zistil som, že je najlepšie čítať časti dokumentu naraz, pretože je ťažké počúvať celé strany. Mnoho z vecí, ktoré je potrebné čítať, je menší text, takže ak je kamera príliš ďaleko, nemôže to vyriešiť.

Riešenie problémov nájdete nižšie, najmä v časti SKENOVANIE A OCR

Ak je všetko v poriadku, na dokončenie stavby natrvalo namontujte všetky komponenty.

Krok 8: Riešenie problémov

1. KAMERA

Prostredníctvom overte, či je kamera povolená

$ sudo raspi-config

Možnosti rozhrania -> Fotoaparát

Znovu zapojte plochý kábel, pretože je citlivý a musí byť presne zarovnaný. Ak je to potrebné, vyhľadajte na Googli „Riešenie problémov s fotoaparátom Raspberry Pi“a vyhľadajte podobné problémy. Tiež si vygooglite chybové hlásenie, ktoré sa vám zobrazí pri spustení programu test.sh.

2. ZVUK

Máš zvýšenie hlasitosti?

$ sudo amixer -q sset PCM, 0 100%

Spustite zvukový test

$ aplay /usr/share/sounds/alsa/Front_Center.wav

Stále nemáte zvuk? Vynútiť výstup zvuku:

$ sudo raspi -config Rozšírené možnosti -> Zvuk -> Vynútiť konektor pre slúchadlá

3. Reč

Ak vyššie uvedený zvuk znie dobre, skúste:

$ flite -t TEST

Chybové správy Google, ak nejaké existujú.

Znova spustite súbor install.sh

Áno, reč znie trochu ako Stephen Hawking.

4. SKENOVANIE A OCR

Toto je najväčšia potrebná oblasť tuningu. Aby OCR fungovalo správne, musí byť obraz z kamery dobrej kvality; dokument musí byť hladko osvetlený, nie však nevyhnutne jasne.

Text musí byť plochý a jasný. Nie všetky písma sú čitateľné.

Ak chcete overiť kvalitu, skontrolujte tieto dva súbory:

/tmp/text.txt a /tmp/image.jpg

Môžete spustiť malý webový server a použiť prehliadač:

$ cd /tmp $ python -m SimpleHTTPServer 8080 &

Text na obrázku by mal byť jasný a čitateľný. Obraz by mal byť správnou stranou hore, dobrým kontrastom a zaostrený. Možno budete musieť dokument prevrátiť, ak je hore nohami. (Pripomeňte používateľovi, že ak počuje hlúposti, skúste dokument prevrátiť.) Ak má obrázok slabý kontrast, budete musieť zlepšiť osvetlenie, príliš veľa alebo málo môže spôsobiť problémy. Nerovnomerné osvetlenie tiež spôsobí zlyhanie častí textu. Ďalšiu pomoc nájdete, keď si zadáte do googlu výraz „tesseract-ocr help“

5. MONITOR/KLÁVESNICA HDMI

Áno, k počítaču Pi môžete pripojiť klávesnicu a monitor, najmä. ak nemôžete nájsť IP adresu alebo nemáte prístup cez SSH. Neexistuje žiadne rozhranie GUI, a preto môže byť zvuk vypnutý, pokiaľ váš monitor nemá reproduktor.

6. INTERNET/WIFI

Ak WIFI nefunguje, stačí dočasne pripojiť ethernetový kábel a použiť ho.

Po dokončení inštalácie a nastavenia tento projekt nevyžaduje internet ani WiFi.