Multimodálny hudobný stojan: 9 krokov (s obrázkami)

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 12:01

Multimodálny hudobný stojan (MMMS) je nový spôsob ovládania zvukovej syntézy a efektov pri hre na tradičnom nástroji (saxofón, flauta, husle, pomenujete to) a ponúka niekoľko ďalších možností rozšírených techník, ktoré je možné pri hraní použiť. ! Už existuje webová stránka o našom skupinovom projekte v UC Santa Barbara, v ktorej sme vyvinuli MMMS, takže namiesto toho, aby som to tu opakoval, zverejním odkaz - pozrite sa na to! Webová stránka multimodálneho hudobného stánku Krátky klip z MMMS v akcii je tu, ale na vyššie uvedenom webe sú lepšie videá … Multimodal sa týka schopnosti snímania vstupu vo viac ako jednej modalite (audio vstup, video vstup a senzorový vstup). Audio a video vstup je celkom jednoduchý, zahŕňa normálny mikrofón a webovú kameru pripojenú k počítaču, ale vstup senzora je o niečo zložitejší, a preto je tento návod … Používame rozhranie CREATE USB, jednoduchý obvod, ktorý som vyvinul pre triedu. Učím na UCSB spolu so súpravou ThereminVision II pre E-pole (známou aj ako kapacitné snímanie), ako je uvedené tu: VYTVORTE USB rozhranie Súprava ThereminVisionII Ak neviete, čo je Theremin, urobte si láskavosť a vyhľadajte na Youtube, vyhrali ste nebuďte sklamaní! MMMS je v zásade ekvivalentný 2 Theremins, pretože okrem audio/video vstupu má samozrejme 4 antény na snímanie poľa E. Ak máte záujem rozšíriť svoje výkonové techniky o svoj nástroj interakciou s počítačom, ale nechcete používať jednoduché pedále, postavte si multimodálny hudobný stojan a začnite s ním cvičiť!

Krok 1: O rozhraní CREATE USB

Rozhranie CREATE USB (CUI) je jednoduchý programovateľný obvod na báze PIC, ktorý je možné buď postaviť úplne vlastnými rukami, alebo si môžete predinštalovaný modul zaobstarať priamo odo mňa za 50 dolárov (+ 5 za poštovné) a nebudete potrebovať kúpiť programátor PIC, pretože som pre vás nainštaloval bootloader … podrobnosti nájdete na webovej stránke alebo mi pošlite e -mail a požiadajte o jeden: VYTVORTE webovú stránku s rozhraním USB CUI môže fungovať ako mnoho rôznych vecí a v súčasnosti sa používa v stovkách zaujímavé projekty z celého sveta … niekoľko príkladov od študentov z UC Santa Barbara je v tomto konferenčnom príspevku (PDF). CUI je možné preprogramovať pomocou USB kábla pomocou bootloadera, a preto je tak ľahko prispôsobiteľný - stačí zmeniť firmvér a je to niečo iné. Napríklad je ľahké previesť CUI do rozhrania bezdrôtového senzora pomocou jedného z moduly Bluetooth od Spark Fun - ak to niekoho zaujíma, napíšte do komentárov poznámku so žiadosťou o ďalší pokyn. CUI má 13 kanálov 10-bitových analógových vstupov a 16 vstupných/výstupných pinov na všeobecné použitie. Predvolený firmvér dodaný s doskami CUI v1.0 ich všetky odosiela ako vstupy do hostiteľského počítača a funguje dobre v interaktívnych prostrediach na tvorbu umenia, akými sú Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck atď. Použil som jedna z dosiek CUI v1.0 na vybudovanie Multimodálneho hudobného stojana v tomto návode. Ako prostredie používame Max/MSP/Jitter, ale v každom prípade to môžete prispôsobiť Pd alebo vášmu softvéru. Som veľkým fanúšikom open source (samotná CUI je open source) a veľmi nám pomôže, ak sa všetci postavíme na plecia a zdokonalíme veci, ktoré vyrábame!

Krok 2: O súprave ThereminVision II

ThereminVision II je k dispozícii ako súprava (50 dolárov), ako aj vopred pripravená (80 dolárov) od predajcu na serveri RobotLand, a je tiež otvoreným zdrojom - príručka ThereminVision II (PDF) obsahuje schémy zapojenia. Pre MMMS som kúpil súpravu a potom som sa rozhodol, že tentokrát pôjdem s vopred pripravenou (toto je druhá MMMS, ktorú som postavil). Okrem toho v prípade, že sa zaujímate, prečo neponúkam forma rozhrania CREATE USB, pretože bootloader CUI musí byť pred odoslaním nového firmvéru cez USB naprogramovaný pomocou konvenčného programátora PIC - inak by som určite ponúkol súpravu, aj keď by to znamenalo spájkovanie na povrchovú montáž … Takže späť na ThereminVision II - ak ste ho kúpili v súprave, postupujte podľa (skvelých!) inštrukcií v pdf: Príručka ThereminVision II Existuje veľa pekných schém zapojenia, ktoré budete musieť urobiť - jediná vec, ktorú neukazuje je pripojenie k rozhraniu CREATE USB, takže fotografie, ktoré som urobil, zverejním v nasledujúcich krokoch … oh, a dostal som antény pre ThereminVision (nie sú súčasťou dodávky) od spoločnosti All Electronics.

Krok 3: Príprava hudobného stojana

Vytvorte si multimodálny hudobný stojan z pekného hudobného stojana, akým je napríklad „dirigentský stojan“, ktorý je tu zobrazený, alebo použite čokoľvek, čo máte po ruke - ešte lepšie, urobte si to svoje!

Bez ohľadu na to, aký stojan použijete, bude potrebovať izolované držiaky pre štyri antény v rohoch stojana. Začnite vŕtaním otvorov do rohov - montážny materiál, ktorý som mal položený, pracoval s vrtákom 1/4 , váš bude pravdepodobne iný. Pokúste sa udržať prednú stranu povrchu čo najrovnejšie, aby ste predišli rušeniu s notami.

Krok 4: Pripojenie modulov snímača ThereminVision

Pripojenie modulov „senzora“ThereminVision (555 časovacích obvodov) k modulu „procesora“ThereminVision je tiež podrobnejšie prediskutované v príručke ThereminVision II, ale tu je niekoľko fotografií z postupu …

Krok 5: Pripojenie ThereminVision k rozhraniu CREATE USB

Ako sme videli v poslednom kroku, existujú 4 vodiče spájajúce každý z modulov senzora s modulom procesora ThereminVision. K procesorovému modulu ThereminVision je k rozhraniu CREATE USB pripojených aj 6 drôtov - jedná sa o napájanie, uzemnenie, výstup zo senzora, snímač Select A, Sensor Select B a Sensor Stop.

Pretože ThereminVision II bude získavať energiu z rozhrania CREATE USB (ktoré zase získava energiu z USB), rozhodol som sa pripojiť napájanie každého z modulov snímača ThereminVision priamo k rozhraniu CREATE USB - vďaka tomu je o niečo menej vtáčieho hniezda na elektroinštalácii, pretože na dosku procesora TherminVision už prechádza veľa drôtov. Pripojte "+" na ThereminVision k "5V" na CUI Connect "-" na ThereminVision na "GND" na CUI Connect "4" (výstup delený 4) na ThereminVision na "D7" na CUI Connect „SEL B“na ThereminVision k „D5“na CUI pripojte „SEL A“na ThereminVision k „D4“na CUI Pripojte „S“na ThereminVision k „D6“na CUI

Krok 6: Upevnenie všetkého na stojan

Elektronika je hotová, stačí ju namontovať na stojan - existuje mnoho spôsobov, ako to urobiť, a možno budete chcieť svoju elektroniku vložiť do ochranného boxu atď.

Tu je niekoľko fotografií niektorých z najjednoduchších spôsobov montáže.

Krok 7: Zavedenie firmvéru pre ThereminVision do CUI

ThereminVision odosiela časovacie signály pre svoje senzory namiesto analógových výstupov (alebo ktoréhokoľvek zo štandardných digitálnych protokolov, ako napríklad I2C alebo SPI). Na meranie načasovania týchto signálov bol teda potrebný nejaký vlastný firmvér … Prvá verzia firmvéru Multimodal Music Stand je v nižšie uvedenom súbore zip, súčasťou je aj zdrojový kód a skompilovaný hex súbor (spolu s testovacou opravou pre Max/ MSP/Jitter): Firmvér CUI -ThereminVision Na obrázku nižšie je znázornený program OS X Boot Down od Craiga Schimmela - nástroj na zavedenie systému Macintosh pre CUI. Ak máte Windows, je najľahšie použiť vlastný nástroj spoločnosti Microchip, PDFSUSB.exe, ktorý je možné stiahnuť z ich webových stránok, alebo je súčasťou tohto príkladu kódu pre rozhranie CREATE USB. Ak chcete prepnúť CUI do „režimu bootloadera“, podržte tlačidlo programu a stlačte tlačidlo reset (alebo jednoducho zapojte kábel USB a súčasne podržte stlačené tlačidlo programu). Stavová LED CUI bude nepretržite blikať, čo znamená, že je v režime bootloadera. Teraz môžete pomocou funkcie Boot Down odoslať súbor CUIEfieldBootDown.hex do rozhrania CREATE USB. Ak by ste niekedy chceli zmeniť firmvér rozhrania CREATE USB späť na pôvodný stav, je tu a existujú aj ďalšie príklady firmvéru pre CUI aj tu.

Krok 8: Testovanie multimodálneho hudobného stojana v režime Max/MSP/Jitter

Otvorte ukážkovú opravu v programe Max/MSP/Jitter (30-dňovú ukážku je možné stiahnuť z www.cycling74.com a je k dispozícii aj „runtime“verzia, ktorá neumožňuje ukladanie opráv), alebo sa riaďte konvenciami v opravnej verzii Max a vytvorte si vlastnú opravu v PureData (Pd) … Jitter sa používa na zobrazenie 3D polohy gestických vstupov, kde je os z (smerom k stojanu a od neho) mapovaná na celkovú intenzitu všetkých 4 antén - nie príliš vedecké., ale funguje to! Údaje z jednotlivých senzorov sa tiež odosielajú ako OSC do 127.0.0.1 (localhost), aby ich v prípade potreby mohli použiť aj iné aplikácie. Užitočný objekt v programe Max/MSP/Jitter na filtrovanie hrotov z údajov senzora (spôsobených elektrickým rušením) je „hladší“Tristana Jehana, ktorý je možné stiahnuť tu: hladší max objekt Stránka Tristan má tiež veľa externých MSP pre Max, ktoré používame na časť zvukovej analýzy vstupu multimodálneho hudobného stojana - obsahuje výšku tónu, hlasitosť ~, jas ~, hlučnosť ~ a objekt analyzátora typu všetko v jednom ~. Akonáhle budete mať údaje prichádzajúce do Maxa, budete musieť individuálne nastaviť citlivosť snímačov ThereminVision malým skrutkovačom. Vykonajte to tak, že antény úplne roztiahnete a potom otáčate modrým trimrom proti smeru hodinových ručičiek, kým neprejde do režimu „reverzného snímania“- potom ho otáčajte späť v smere hodinových ručičiek, kým sa nevrátite do normálneho rozsahu snímania. Malé úpravy (ladenie senstivity, rovnako ako ladenie gitary) je možné vykonať zmenou dĺžky antén, takže nebudete musieť so sebou nosiť malý skrutkovač na koncerty.

Krok 9: Použitie multimodálneho hudobného stojana vo výkone! (a jeho rozšírenie)

Nezabudnite, že nové výkonové techniky, ktoré Multimodal Music Stand umožňuje, si vyžadujú precvičenie a vývoj nových mapovaní a myšlienok, čo s ním chcete ovládať! Tiež, ak chcete rozšíriť svoje MMMS o ďalšie druhy senzorov, v budúcich verziách firmvéru MMMS bude možné okrem senzorov ThereminVision použiť 13 analógových vstupov na CUI, takže s niektorými jednoduchými senzormi (posuvníky/gombíky/pedále) alebo inými typmi senzorov (IR/ultrazvuk/atď.), je možné ich použiť spolu so zvukovým vstupom a videom do počítača. V súčasnej dobe firmvér používa protokol „serial-over-USB“, ale nakoniec je v pláne prepnúť na protokol „HID“(Human Input Device), ktorý bežne používa rozhranie CREATE USB. Neváhajte a prispejte k úsiliu … Existuje podobný open source projekt na snímanie poľa E (známy aj ako kapacitné snímanie), ktorý používa rovnakú topológiu obvodu (na základe dizajnu ThereminVision) s názvom CapToolKit - používa „malého brata“. PIC18F4550, PIC18F2550, ktorý nemá toľko analógových vstupov (10 namiesto 13). Firmvér pre CapToolKit sa bude mierne líšiť, pretože nepoužíva procesorovú dosku ThereminVision. Na optické rozpoznávanie fyzických gest a detekciu pohľadu používame jednoduchú kameru firewire (štýl webovej kamery) namontovanú v hornej časti stojana na hudbu. zaujímajú sa aspekty počítačového videnia alebo zvukovej analýzy a syntézy výskumu našej skupiny, pozrite si články na webovej stránke Multimodal Music Stand. A prosím, pošlite svoje skúsenosti, ak si postavíte Multimodálny hudobný stánok … Teraz ich máme v UCSB dve, ako je znázornené na fotografii nižšie - bolo by skvelé, keby ich bolo k dispozícii viac skladieb, vystúpení a hudobníkov! Doktor JoAnn Kuchera-Morin napísal prvú skladbu zahŕňajúcu MMMS, ktorú v marci 2007 predviedla flautistka Jill Felber na Eastman School of Music.