Použitie fotogrametrie na vytváranie modelov: 9 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 11:57

Kto som?

Som Samuel Conklin a som druhák v E. L. Meyersova stredná škola. Posledných pár mesiacov som experimentoval s fotogrametriou a dúfam, že vám pomôžem, ak sa rozhodnete znova vytvoriť tento produkt. Zaujíma ma, ako môžu iní ľudia používať túto novú a neustále sa vyvíjajúcu technológiu.

Čo je to virtuálna realita a SteamVR?

Virtuálna realita je novou formou umeleckého vyjadrenia a zážitku. Je to stále nová hranica technológie, pretože nespočetné spoločnosti a ľudia pracujú na zlepšení média. Ak ste VR nikdy neskúsili, robíte pre seba veľkú službu, pretože úplne zapuzdruje zrak a zvuk jeho používateľa. Jednou z hlavných platforiem pre virtuálnu realitu je SteamVR spoločnosti Valve. SteamVR umožňuje používateľom bezplatne navzájom zdieľať prostredia a sety. Väčšinou má otvorený zdroj a umožňuje nespočetné množstvo náhlavných súprav. Patria sem, ale nie sú obmedzené na sériu HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality atď. SteamVR je platforma, ktorú používame na vytváranie nášho prostredia.

Čo je to fotogrametria a ako sa dá použiť?

Fotogrametria je proces vytvárania fotografií alebo videí a ich premeny na 3D model. Najslávnejším príkladom použitia tejto technológie je Google Earth. Google používa satelitné snímky a zobrazenie ulíc na rekonštrukciu krajiny a budov. Pri pohľade na Google Earth je zrejmé, že na práci mali len málo obrázkov, takže niektoré budovy budú pôsobiť zdeformovane. Pri správnom použití je fotogrametria mimoriadne presvedčivým spôsobom vytvárania 3D modelov. Tento projekt používa túto technológiu na ochranu historických pamiatok. Erózia a vystavenie sa živlom znamená, že historické pamiatky časom chátrajú a ľudia na ne zabudnú. Pomocou fotogrametrie dokážeme všetko digitálne zachovať, takže budúce generácie budú môcť tieto štruktúry zažiť a oceniť. To tiež znamená, že viac ľudí na celom svete môže spoznať iné kultúry bez nákladov alebo rizika cestovania.

Aké zásoby potrebujem?

Na tento projekt som použil Reality Capture, SteamVR a Krita. Existujú programy Autodesk, Agisoft a Zephyr, ktoré je možné použiť namiesto programu Reality Capture, ak na jeho spustenie nemáte požadovaný grafický procesor Nvidia. Namiesto Krita je možné použiť Photoshop alebo iné programy na úpravu fotografií, ale keďže ich používanie je bezplatné a verejné, rozhodol som sa ich použiť pre tento projekt. Budete tiež potrebovať náhlavnú súpravu Desktop VR, ktorú je možné pripojiť priamo k počítaču. Nakoniec je potrebný vysokokvalitný fotoaparát. Mobilný fotoaparát je slušný, ale použil som fotoaparát Nikon D7000, pretože program Reality Capture dokáže automaticky detekovať clonu fotoaparátu, čo vedie k vyššej kvalite modelov.

Krok 1: Fotografovanie

Toto je najdôležitejšia časť tohto projektu, pretože ho potrebujete urobiť správne na jeden záber. Ak to neurobíte, budete sa musieť vrátiť na miesto a znova všetko zopakovať.

Najprv musíte nájsť vhodné miesto a štruktúru. Štruktúra by mala byť veľká a ľahko identifikovateľná. Čo to znamená, že softvér fotogrametrie bude schopný zistiť rozdiely medzi štruktúrou a pozadím.

Fotografovanie v zatiahnutom dni je zvyčajne tou najlepšou cestou. Slnečný deň má totiž možnosť niektoré fotografie preexponovať a iné podexponovať. Mohlo by to tiež spôsobiť nežiaduce tiene. Model s malými až žiadnymi tieňmi uľahčí osvetlenie v sekcii vývoja úrovní. Softvér navyše potrebuje, aby bolo vyváženie farieb na každej fotografii rovnaké, pretože na výpočet veľkosti objektu používa farby. Fotografovanie v zatiahnutom dni však zlepší kvalitu štruktúry. Mraky na oblohe budú pre kameru pôsobiť ako prirodzený difúzor. Bude distribuovať svetlo rovnomernejšie a znamená, že model bude počas procesu vykresľovania presnejší.

Záverečnou radou je urobiť čo najviac fotografií. Väčšina programov si vyberie, ktoré fotografie použije pre konečný produkt. Tým, že urobíte viac fotografií, bude všetko presnejšie a poskytne programu trochu dychu. Na každý model som mal asi 150-300 fotografií.

Krok 2: Začíname so softvérom fotogrametrie

Teraz importujeme fotografie do softvéru. Reality Capture vyžaduje grafickú kartu Nvidia. Bez nej sa nemôžete dostať za sekciu Zarovnať obrázky.

Ak máte priečinok so všetkými obrázkami, ktoré chcete použiť, vyberte možnosť Priečinok v ľavom hornom rohu. Tým sa dostanete do Správcu súborov a môžete si vybrať priečinok. Vstupy vám umožnia vybrať jednotlivé fotografie pomocou Správcu súborov.

Ďalej začneme proces vytvárania modelu. V hornej časti obrazovky v časti Pracovný postup je sekcia Proces. Chceme stlačiť väčšie tlačidlo Štart. Tým sa začnú obrázky zarovnávať. Štvrtá fotografia stručne ukazuje, čo sa počas tohto procesu deje. Rozpozná ľavé oko jeleňa a porovná vzdialenosť s inými fotografiami. Bude pokračovať v porovnávaní rôznych fotografií, kým neprešiel všetkými možnými kombináciami. Tento krok je dokončený, ak vidíte malé bodky, ktoré pripomínajú štruktúru.

Krok 3: Vypočítajte a zjednodušte

Ďalším krokom je výpočet modelu. Za týmto účelom klikneme na položku Vypočítať model v časti Proces. To bude priamo prekladať všetko, čo nájde na fotografiách, do 3D podoby. Výsledky sú slušne podobné tomu, ako chceme, aby model vyzeral, ale s touto verziou modelu sú tri problémy. Po prvé, v modeli sú otvory, ktoré nie sú v štruktúre skutočného života. Za druhé, povrch je príliš hrboľatý. Pretože program aproximuje svoje výpočty, niektoré hladké povrchy bude nesprávne hrboľaté. Po tretie, existuje príliš veľa trojuholníkov. Každý model v programe Reality Capture je vytvorený pomocou malých trojuholníkov. Každý trojuholník predstavuje malú plochu modelu. Na optimalizáciu modelu chceme, aby bolo čo najmenej trojuholníkov. Ak je príliš veľa trojuholníkov, môže to spôsobiť problémy s výkonom.

Tieto problémy je možné vyriešiť nástrojom Zjednodušiť. Všetky modely budú mať po fáze výpočtu modelu 3 000 000 trojuholníkov a my sa môžeme rozhodnúť, či toto číslo zvýšime alebo znížime. Pre všetky modely, ako sú tie, ktoré sa nachádzajú v tomto projekte, som znížil počet trojuholníkov na 1 000 000. Výsledok nájdete na druhom obrázku, kde sú všetky hrboľaté povrchy hladšie a je v nich menej dier. Navyše, s menším počtom trojuholníkov na vykreslenie bude výkon lepší, keď sa dostaneme do VR.

Krok 4: Farba a textúra

Teraz bude model potrebovať farbu a textúru, aby bol ešte skutočnejší. Tieto dve časti sú podobné tým, čo dosahujú, ale líšia sa spôsobom, akým fungujú. Program pomocou farby, ktorá sa nachádza v časti Proces, vyfarbí model. Tento nástroj nasníma obrázky použité na vytvorenie modelu a obalí ich okolo rôznych povrchov vášho modelu. Na druhej strane textúra v zjednodušených častiach modelu zafarbí. Pri pohľade na prvý obrázok je dobre viditeľné, ako program omotával obrázky okolo modelu, ale na druhom obrázku po procese textúry sú ostré strany obrázkov teraz vyhladené.

Krok 5: Export a SteamVR

V Reality Capture ideme preniesť modely do SteamVR. V hornej časti obrazovky v časti Export vyberte položku Sieť, ktorá sa nachádza vedľa sekcie Proces. Mali by ste vidieť toto kontextové okno, ktoré vám umožní zmeniť nastavenia a parametre modelu. Najlepšie je ponechať všetky nastavenia predvolené, okrem zmeny formátu textúry JPEG. Program teraz exportuje súbor vo formáte OBJ, ktorý je súborom siete, a JPEG, ktorý je súborom textúry pre model. Na referenčné účely by mal obrázok JPEG vyzerať ako druhý obrázok v tomto kroku.

Teraz musíme importovať naše modely do SteamVR. Najprv otvorte SteamVR a potom prejdite na položku Vytvoriť/upraviť prostredie, ktorá sa nachádza na karte Workshop. Teraz sa otvoria nástroje SteamVR Workshop Tools. Vyberte položku Vytvoriť prázdny doplnok a kliknite na položku Spustiť nástroje.

Teraz sa otvorí Asset Browser s rôznymi materiálmi a modelmi, ktoré už sú súčasťou. Vľavo hore je ikona so symbolom Kladiva. Toto je vstavaný editor SteamVR Hammer, ktorý vám dáva možnosť vytvárať mapy. Mapy sú prostredím, ktoré bude užívateľ VR počas hry obývať.

Krok 6: Vytvorenie mapy SteamVR

S otvoreným editorom Hammer v SteamVR teraz môžeme vytvoriť kocku. Chceme vytvoriť kocku, aby sme mohli začať budovať prostredie. Program vám umožňuje zmeniť veľkosť kocky predtým, ako je zaistená na svojom mieste. Práve teraz sú viditeľné iba vonkajšie povrchy kocky. Stlačením CTRL+F sa všetky povrchy obrátia a zmení kocku na miestnosť. Okrem toho budete musieť pridať objekt s názvom info_player_start, ktorý Hammerovi oznámi, kde má založiť užívateľa po načítaní programu.

Aby bola miestnosť realistickejšia, musíme tiež pridať textúry. Niektoré vlastné obrázky môžeme pridať pomocou editora materiálov. Toto je kruhová ikona napravo od tlačidla Kladivo v prehliadači majetku. Výberom editora materiálov sa dostanete do nového okna, ktoré vám umožní importovať obrázok, z ktorého bude vytvorená textúra. Môžete použiť svoje vlastné obrázky alebo získať obrázky z webových stránok s textúrami na sklade, ako je textures.com. Kliknutím na tlačidlo Súbor pod výberom farby vyberte obrázok, ktorý chcete použiť. Po výbere obrázka ho uložte stlačením ikony diskety v ľavom hornom rohu okna Material Editor. Teraz zatvorte editor materiálov a prejdite späť do prehľadu majetku. Tu vyhľadajte súbor textúry, ktorý chcete použiť, a potom naň kliknite a presuňte ho do editora Hammer. V tomto okne môžete použiť svoju textúru na rôzne tváre kocky.

Tiež musíme do miestnosti pridať osvetlenie. Aby sme to urobili, vložili sme na našu mapu light_omni alebo light_spot, ktorý sa nachádza v sekcii Entity vľavo od zobrazenia mapy. Light_omni bude svietiť svetlom vo všetkých smeroch, zatiaľ čo light_spot svieti svetlom v jednom konkrétnom smere. Pri tomto projekte som použil najmenej dva svetelné body pre každý objekt a jeden svetelný prvok, ktorý pomohol osvetliť miestnosť.

Krok 7: Pridanie našich objektov na mapu

Teraz je čas začať presúvať naše objekty na našu mapu. V Asset Browseri je napravo od ikony Material Editoru Editor modelov, ktorý pripomína humanoidnú ikonu. Po otvorení Editora modelov získate možnosť prehliadať alebo vytvoriť nový VDML, čo je verzia súboru OBJ aplikácie Hammer Editor. Vyberte možnosť vytvorenia nového VDML a bude od vás vyžadovať vytvorenie priečinka. Tento priečinok bude ukladať súbor VDML. Uistite sa, že je v priečinku Add On a stlačte tlačidlo Pokračovať.

Prejdete na obrazovku s vašim modelom, ktorá má bielu textúru. Ak chcete pridať textúru pre tento model, vyberte položku Materiály na paneli s nástrojmi vľavo. Dostanete sa do editora materiálov a môžete si vybrať JPEG z exportu Reality Capture. Textúru a model uložte kliknutím na ikonu diskety. Vráťte sa do editora Hammer.

V aplikácii Hammer môžete model presunúť myšou z prehľadača majetku na mapu. Model bude s najväčšou pravdepodobnosťou malý a budete ho musieť zmeniť. Stlačením T na klávesnici môžete zmeniť jeho polohu na mape. Stlačením E zmeníte proporcie modelu, zatiaľ čo R ho budete otáčať.

Krok 8: Vytvorenie štítkov objektov

Štítky objektov zobrazené vedľa každého orientačného bodu poskytujú kontext a históriu, ktoré zlepšujú dojem používateľa. Pre svoje štítky objektov som jednoducho odfotil informačné tabule na každom mieste, aby som mohol ľahko zaznamenať dôležité informácie, ktoré som chcel neskôr použiť. Potom som použil Krita, bezplatný softvérový program na úpravu fotografií, na vytvorenie štítkov objektov vrátane ďalších obrázkov a textu.

V prípade miestnosti Miner Park a Anchor neboli pri pridávaní štítkov ako textúr žiadne problémy. Jednoducho ich pridajte do svojho prehľadávača aktív prostredníctvom editora materiálov a pridajte obrázok do bloku, ktorý je možné vytvoriť v editore Hammer. Problémy nastali, keď som vytvoril dosky na druhú stranu miestnosti. Všetok text a obrázky boli dozadu a v editore neexistoval jasný spôsob, ako obrátiť textúry. Aby som to napravil, vrátil som sa do Krity a obrátil dosky pre jelene a medveďa a našťastie to problém vyriešilo.

Okrem toho som pridal rôzne obrázky Wilkes-Barre, pretože som chcel vytvoriť miestnosť, ktorá bude mať pocit a atmosféru butikového múzea.

Krok 9: Záver

Na záver možno povedať, že virtuálna realita a fotogrametria majú potenciál výrazne zlepšiť nespočetné množstvo odvetví vrátane, okrem iného, športu, nehnuteľností a súdneho lekárstva. Dnes som pomocou fotogrametrie zachoval niektoré malé, ale dôležité časti miestnej histórie svojho rodného mesta. VR a fotogrametria sú stále experimentálne technológie, ktoré vás niekedy môžu vyzvať. Napriek niektorým nedostatkom je množstvo inovatívnych spôsobov použitia pre oba procesy vzrušujúce a neobmedzené. Ďakujem vám, že ste si prečítali o tomto projekte a dúfam, že vás to inšpirovalo k vyskúšaniu niečoho nového s virtuálnou realitou.

Odkaz na stiahnutie projektu nájdete tu.