Obsah:
2025 Autor: John Day | [email protected]. Naposledy zmenené: 2025-01-13 06:58
Videozáznamy z dronov v posledných rokoch skutočne explodovali a existuje obrovské množstvo talentovaných pilotov, ktorí robia najakrobatickejšie videá pomocou svojich kvadrokoptér a náhlavných súprav z pohľadu prvej osoby. Môj brat Johnny FPV je jedným z týchto pilotov, a tak som chcel zistiť, či je možné zrekonštruovať prostredie, v ktorom letí, zo svojich záberov vo voľnom štýle.
Stabilné zábery uzamknutého bezpilotného lietadla, ktoré sú predmetom záujmu, môžu určite vytvoriť 3D model s vysokou vernosťou, ako sa tu diskutuje, ale čo sa stane, keď sú zábery také frenetické ako toto?
Krok 1: Predbežne spracujte video
Keď získate nejaké letecké zábery, je potrebné predbežné spracovanie. Používam Adobe Media Encoder, ale o to by sa mal postarať takmer každý softvér na úpravu videa.
Vybral som krátky klip (~ 11 sekúnd) a zmenil som snímkovú frekvenciu z 29,77 na 30 snímok za sekundu a nové video som uložil do požadovaného priečinka.
Ďalej pomocou FFMPEG exportujem všetky ostatné snímky videa vo formáte jpg. Ak nie ste známy, FFMPEG je sada nástrojov príkazového riadka, ktorá umožňuje spracovanie a konverziu takmer akéhokoľvek druhu zvuku alebo videa, na ktoré si spomeniete. Existuje platený softvér, ktorý vám umožní robiť veľa rovnakých vecí, ale ak ste ochotní trochu pracovať s príkazovým riadkom, môže to byť neuveriteľne účinný nástroj.
Tu nájdete dobrý návod na inštaláciu FFMPEG.
Budete chcieť zmeniť svoj adresár na umiestnenie súboru s obrázkom (cd) a potom použiť nasledujúci skript:
ffmpeg -i (názov súboru videa) -vf fps = 15 exp%03d.jpg
Zmena snímok za sekundu prirodzene zmení počet obrázkov exportovaných za sekundu videa. To sa vracia k tomu, prečo som zmenil fps videa z 29,97 na 30- zachytenie 15 obrázkov za sekundu teraz jednoducho zachytí každý ďalší snímok z videa. Ak by ste chceli každý šiesty rámec, nastavili by ste ho na 5 fps … atď.
„exp %03d.jpg“spôsobí, že obrázky budú uložené ako exp000.jpg, kde budú obrázky číslované postupne tromi číslicami- ak máte dlhší videoklip a chcete exportovať viac ako 999 obrázkov, napísanie %04d by znamenalo všetky obrázky so štyrmi číslicami; môžete exportovať až 9 999.
(poznámka: „ffmpeg -i (názov vášho video súboru) -r (framerate) -f image2 exp%03d.jpg“funguje aj na extrahovanie snímok z videa, ale z akéhokoľvek dôvodu získam lepšie mračná bodov z obrázkov spracovaných v predchádzajúca metóda)
Krok 2: Importujte fotografie a vytvorte bodový mrak
Keď máte sadu obrázkov, môžete začať bežný pracovný postup fotogrametrie. Používam Agisoft PhotoScanPro, ale iné programy, ako napríklad Autodesk Remake, by boli pravdepodobne rovnako (ak nie ešte viac) úspešné.
Po importovaní mojich fotografií som tiež nastavil kalibráciu fotoaparátu na Fisheye, pretože tieto zábery pôvodne pochádzajú z GoPro. O niekoľko minút neskôr spracovanie začne vznikať niekoľko 3D informácií! Mračno bodov nemusí vyzerať tak veľa a pozostáva iba z niekoľkých tisíc bodov, takže na výpočet siete zatiaľ nestačí. Z toho som postavil hustý oblak bodov a teraz mám asi 200 000 bodov, s ktorými môžem pracovať.
Krok 3: Vybudujte sieť
Teraz, keď máme všetky tieto body na prácu, je možné vypočítať sieť. Používam relatívne vysoký počet tvárí a umožnenie interpolácie- vďaka tomu bude sieťovina trochu „fuzzierovejšia“, ale chýbajúcich povrchov a dier v sieťovni bude nakoniec oveľa menej. Po niekoľkých minútach spracovania začíname mať výsledok podobný architektúre, okolo ktorej dron lietal!
Krok 4: Textúra a konečné výsledky
Photoscan vám tiež umožňuje vytvoriť textúru pre vašu sieť zo vstupných obrázkov, ktorá modelu dodáva konečný detail. Z výsledkov tohto procesu mám zmiešané pocity (existujú oveľa lepšie spôsoby, ako vytvoriť presný model), ale celkovo si myslím, že je úžasné, že z takého orieškového záberu môže vzísť vôbec každý model!
Ďalšími smermi, ktorými by som sa mohol v rámci tohto projektu zaoberať, by mohlo byť zahustenie povrchov na vodotesné modely pre 3D tlač alebo by sa mohli stať súčasťou surrealistickej krajiny VR.