Kino Biofeedback: 7 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 12:00

Autor projektu

Jessica Ann

Spolupracovníci

• Gregory Hough
• Salud Lopez
• Pedro Peira

O

Experimentálny systém snímania videa, ktorý prepája mozog účastníka s funkciami fotoaparátu prostredníctvom náhlavnej súpravy EEG Neurosky Mindwave EEG. Systém Biofeedback Cinema funguje namiesto tradičného kameramana, namiesto toho poskytuje agentúru kompozície samotnému účastníkovi prostredníctvom vlastného rozhrania BRAIN to CAMERA. Projekt bol vyvinutý v spolupráci s účastníkmi workshopu Gregory Hough, Salud Lopez a Pedro Peira. Výsledky workshopu si môžete prečítať na:

Konfigurácia prototypu

Systém Biofeedback Cinema je vhodný pre mnoho potenciálnych aplikácií. Pre tento návod sme pripravili ukážku systému, ktorý sa zameriava na úroveň zaostrenia/pozornosti účastníka (jedno celé číslo) a prekladá to do polohy kamery (pomocou posúvania a nakláňania) a zaostrovania kamery (interne prostredníctvom OpenCV). To všetko je možné vďaka bluetooth spojeniu medzi headsetom Neurosky EEG Reader a Raspberry Pi.

Raspberry Pi je malý počítač vybavený webovou kamerou a skriptmi (k dispozícii nižšie), ktoré premosťujú mozgovú aktivitu účastníka na nastavenia kamery a polohu kamery. Dynamická poloha kamery je možná prostredníctvom mikrokontroléra Arduino, ktorý prijíma signály z Raspberry Pi. Tešíme sa na ďalší vývoj, pretože sa snažíme zahrnúť ďalšie parametre mozgových vĺn (frekvencie súvisiace s mrknutím očí atď.) A funkcie fotoaparátu (t. J. Odtieň, sýtosť, jas atď.).

Nasledujú pokyny na zostavenie vlastného systému Biofeedback Cinema.

Príjemné experimentovanie

Krok 1: Spotrebný materiál

Všetko, čo potrebujete na zostavenie vlastného prototypu Biofeedback Cinema, je uvedené nižšie.

1. Mobilná EEG náhlavná súprava Neurosky Mindwave

2. Raspberry Pi B+ (b+ je lepšie, viac USB portov, ale model B je tiež dobrý, ak máte rozbočovač USB).

   1. Napájací adaptér alebo batéria Raspberry Pi
   2. Wifi dongle - alebo - ethernetové pripojenie (potrebné iba počas nastavovania)
   3. Bluetooth dongle nájdete na wiki, kde nájdete kompatibilné dongle
   4. Karta SD (najmenej 8 GB) s NOOBS.

3. Akákoľvek doska Arduino je v poriadku, ak použijete Uno v tomto návode. Všimnite si tiež, že by ste mohli použiť I/O na Pi.

   1. Napájací adaptér Arduino alebo batéria
   2. A-B USB kábel
4. USB webkamera
5. Mini súprava na naklápanie

6. Monitor s HDMI vstupom Alebo použite VNC na diaľkové ovládanie vášho pi z počítača [návod tu]

   HDMI kábel

7. USB klávesnica a myš odporúčajú bluetooth klávesnicu a myš, aby sa minimalizovali používané porty USB.

Krok 2: Nastavte Raspberry Pi

1. Inštalácia hardvéru

Pripojte klávesnicu, myš, bluetooth dongle, wifi dongle (alebo ethernet), webovú kameru, monitor pomocou kábla HDMI a napájajte svoj Raspberry Pi

2. Nastavte operačný systém

• Zapnite napájanie a vaše Pi by sa malo spustiť. Nainštalujte si Rasbpian OS, pokyny nájdete tu:
• Ak je boot a Raspian nainštalovaný správne, mala by sa vám zobraziť domáca plocha [Obrázok vyššie].

RADY:

• Ak je pomer strán plochy vypnutý, skúste reštartovať počítač Raspberry Pi. Ak je stále vypnutý, pozrite sa sem a aktualizujte pomer strán ručne.
• Ak otvoríte textový editor a vaše špeciálne znaky klávesnice sú nesprávne priradené, aktualizáciu konfigurácie klávesnice aktualizujte tu.
• Otestujte si internetové pripojenie (budete to potrebovať na inštaláciu knižníc počas inštalácie). Tu nájdete pomoc s nastavením wifi.

Krok 3: Pripojte náhlavnú súpravu Neurosky

1. Konfigurácia Bluetooth

Predtým, ako sa Pi bude môcť pripojiť k Neurosky, musíme nastaviť bluetooth:

Na pracovnej ploche otvorte „LXTerminal“(ďalej len „terminál“). Na vyriešenie a aktualizáciu nedostatkov spustite tento príkaz:

$ sudo apt-get aktualizácia

Nainštalujte bluetooth pomocou tohto príkazu:

$ sudo apt-get nainštalovať bluetooth

Nainštalujte si praktický nástroj bluetooth na paneli s nástrojmi na paneli s nástrojmi:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Reštartujte počítač Pi z terminálu:

$ sudo reštart

2. Otestujte pripojenie Bluetooth

• Zapnite náhlavnú súpravu Neurosky
• Z Terminálu vyhľadajte zariadenia:

hcitool scan

V zozname by mala byť náhlavná súprava Mindwave, poznamenajte si MAC adresu náhlavnej súpravy [obrázok vyššie]

3. Nainštalujte si knižnice Neurosky

Teraz sme pripravení nainštalovať knižnice Neurosky Python a začať zbierať ich dátový tok pomocou testovacieho skriptu knižnice:

Z terminálu nainštalujte nástroj github:

sudo apt-get install git-core

Klonové úložisko github s knižnicou Neurosky Python:

klon sudo git

Potrebujeme aktualizovať súbor MindwaveMobileRawReader.py pomocou adresy MAC vášho headsetu. Pre informáciu: V názvoch súborov sa rozlišujú malé a veľké písmena

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Aktualizujte adresu MAC uvedenú v súbore. Ctrl-X na dokončenie, Y na uloženie, Enter na ukončenie.
• Spárujte Neurosky a Pi a povoľte funkciu automatického pripojenia, ak sa zobrazí výzva na zadanie kódu PIN, použite „0000“:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device dôveryhodné XX: XX: XX: XX: XX: XX áno

Nainštalujte knižnicu Bluetooth Python:

sudo apt-get install python-bluez

Spustite testovací skript knižnice, aby ste sa presvedčili, že Pi dokáže prezerať dátový tok. Mali by ste vidieť streamovanie údajov [obrázok vyššie]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Krok 4: Pripojte webovú kameru USB W/otvorený životopis

1. Nainštalujte OpenCV

Z terminálu:

$ sudo apt-get install libopencv-dev python-opencv

Po dokončení pokračujte:

$ sudo apt -get -f install

Pre správnu mieru:

$ sudo apt-get install libopencv-dev python-opencv

Testujte inštaláciu pokusom o import knižnice:

$ python

> import cv2

2. Otestujte OpenCV v Pythone pomocou webovej kamery USB

• Na pracovnej ploche otvorte „IDLE“(neotvárajte IDLE3!)
• V ponuke Súbor vyberte položku Nové okno. Skopírujte náš skript Cv-Blur-Test do nového okna a uložte. Skript je k dispozícii tu:
• V ponuke Spustiť vyberte položku Spustiť modul (alebo stlačte kláves F5). Spustenie môže trvať niekoľko sekúnd, ale pri živom vysielaní webovej kamery by sa mal objaviť malý rámček a video by malo byť rozmazané. Blahoželáme, OpenCV bol nainštalovaný a úspešne funguje s vašou webovou kamerou [Obrázok vyššie].

Krok 5: Pripojte Arduino

1. Stiahnite si Arduino IDE

Z terminálu:

sudo apt-get install arduino

2. Pripojte Arduino a načítajte náčrt

• Pripojte arduino k Pi pomocou kábla A-B USB.
• V ponuke Štart na pracovnej ploche prejdite na položku Elektronika a otvorte Arduino IDE. Skopírujte náš náčrt arduino-serial-pi do IDE [odkaz nižšie]. Toto je veľmi základný náčrt, ktorý bude pohybovať servomotormi na základe vstupu prichádzajúceho cez sériový port. Údaje budeme posielať cez seriál na základe výstupu mozgových vĺn pomocou skici Pythonu v poslednom kroku, keď dáme všetko dohromady.

Náčrt Arduino-serial-pi online tu:

V Arduino IDE prejdite do ponuky Nástroje, vyberte Sériový port a vyberte uvedený port Arduino, pravdepodobne niečo ako /dev /ttyACM0. Poznačte si prístav

3. Vypnite sériovú konzolu

Stiahnutím a spustením skriptu deaktivujete sériovú konzolu, aby sériové pripojenie USB mohlo fungovať hladko:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo reštart

Pre informáciu:

Ak používate B+, môže byť dostatok vstupov/výstupov na podporu serv (pozrite sa sem, aby ste nastavili a používali GPIO). Mám však záujem pridať ďalšie komponenty pre budúce experimenty medzi mozgom a elektronikou. Nastavenie počiatočného prototypu s arduinom teda zaistí množstvo prelomových elektronických možností.

Krok 6: Dajte to všetko dohromady

1. Finálny skript Pythonu

Predtým, ako budeme môcť pridať konečný skript pythonu do priečinka „python-mindwave-mobile“, musíme zmeniť povolenia priečinka. Z terminálu:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Otvorte IDLE a spustite náš konečný skript Python, ktorý je k dispozícii online tu: https://github.com/PrivateHQ/biofeedback-cinema/ Uistite sa, že je umiestnený v priečinku python-mindwave-mobile. Pre informáciu: Náš skript Python budete musieť aktualizovať pomocou svojej skutočnej adresy portu Arduino.
• Pri spustení tohto skriptu by sa mali stať tri veci: 1) Úroveň vašej pozornosti bude uvedená v zozname Python Shell, 2) Zobrazí sa malý rámček, ktorý zobrazuje živý prenos z webovej kamery s rozostrením meniacim sa na základe úrovne pozornosti, 3) motor (s) presuňte sa, keď sa úroveň pozornosti odovzdáva arduino prostredníctvom seriálu [video vyššie].

Krok 7: Vylepšenia a vývoj

Raspberry Pi má obmedzený výpočtový výkon a snaží sa hladko prevádzkovať funkcie OpenCV. Je to niečo, čo budem naďalej rozvíjať a zlepšovať. Okrem toho plánujem do budúcich iterácií zahrnúť ďalšie parametre mozgových vĺn (frekvencie súvisiace s mrknutím oka atď.) A funkcie fotoaparátu (t. J. Odtieň, sýtosť, jas atď.).