Kvantimetrické spracovanie obrazu: 5 krokov

2024 Autor: John Day | [email protected]. Naposledy zmenené: 2024-01-30 12:00

(Vyššie uvedený obrázok ilustruje porovnanie existujúcej metódy spracovania obrazu s kvantimetrickým spracovaním obrazu. Všimnite si zlepšeného výsledku. Obrázok vpravo hore zobrazuje podivné artefakty, ktoré pochádzajú z nesprávneho predpokladu, že obrázky merajú niečo ako svetlo. V dolnom pravom obrázku je lepší výsledok tým, že urobíte to isté. kvantimetricky.)

V tomto návode sa naučíte, ako výrazne zlepšiť výkonnosť existujúcich zobrazovacích systémov alebo systémov snímania zraku pomocou veľmi jednoduchého konceptu: kvantimetrické snímanie obrazu

Kvantimetrické spracovanie obrazu sa výrazne zlepšuje v nasledujúcich prípadoch:

• Existujúce spracovanie obrazu, ako je odfarbenie obrazu;
• Strojové učenie, počítačové videnie a rozpoznávanie vzorov;
• Rozpoznávač tváre na nosenie (pozri https://wearcam.org/vmp.pdf), vízia založená na AI a HI atď.

Základnou myšlienkou je kvantimetricky predspracovať a dodatočne spracovať obrázky takto:

1. Rozšírte dynamický rozsah obrázku alebo obrázkov;
2. Spracujte obrázok alebo obrázky obvyklým spôsobom;
3. Komprimujte dynamický rozsah obrázku alebo obrázkov (t. J. Vráťte krok 1).

V predchádzajúcich Instructables som učil niektoré aspekty snímania HDR (vysokého dynamického rozsahu) a kvantimetrického snímania, napr. linearita, superpozícia atď.

Teraz použime tieto znalosti na použitie.

Vykonajte akýkoľvek existujúci proces, ktorý chcete použiť. Príklad, ktorý ukážem, je odfarbovanie obrazu, ale môžete ho použiť aj na čokoľvek iné.

Krok 1: Rozšírte dynamický rozsah obrázku alebo obrázkov

(Obrázky upravené z „Inteligentného spracovania obrazu“, John Wiley and Sons Interscience Series, Steve Mann, november 2001)

Prvým krokom je rozšírenie dynamického rozsahu vstupného obrazu.

V ideálnom prípade by ste mali najskôr určiť funkciu odozvy fotoaparátu, f, a potom na obrázok použiť inverznú odozvu, f inverzne.

Typické kamery majú kompresiu dynamického rozsahu, takže zvyčajne chceme použiť rozsiahlu funkciu.

Ak nepoznáte funkciu odozvy, začnite vyskúšaním niečoho jednoduchého, ako je načítanie obrázka do poľa obrázka, prenášanie premenných na typ údajov, ako je (float) alebo (double), a zvýšenie hodnoty každého pixelu na exponent, napríklad ako kvadratúra každej hodnoty pixelu.

Zdôvodnenie:

Prečo to robíme?

Odpoveď je, že väčšina kamier komprimuje svoj dynamický rozsah. Dôvodom je to, že väčšina zobrazovacích médií rozširuje dynamický rozsah. Je to úplná náhoda: množstvo svetla vyžarovaného televíznym displejom s katódovou trubicou sa približne rovná napätiu zvýšenému na exponent 2,22, takže keď je vstup video napätia zhruba v polovici cesty, množstvo vyžarovaného svetla je veľa menej ako polovicu.

Fotografické médiá sú tiež rozsiahle. Fotografická „neutrálna“sivá karta napríklad vyžaruje 18% dopadajúceho svetla (nie 50% dopadajúceho svetla). Toľko svetla (18%) sa považuje za stred reakcie. Takže ako vidíte, ak sa pozrieme na graf výstupu ako funkciu vstupu, zobrazovacie médiá sa správajú, ako keby boli ideálnymi lineárnymi displejmi, ktoré pred ideálnou lineárnou odozvou obsahujú expandér dynamického rozsahu.

Na hornom obrázku vyššie vidíte displej zabalený s bodkovanou čiarou a je to ekvivalent k expandéru pred ideálnym lineárnym zobrazením.

Pretože displeje sú vo svojej podstate rozsiahle, fotoaparáty musia byť navrhnuté tak, aby boli kompresné, aby obrázky vyzerali dobre na existujúcich displejoch.

V dávnych dobách, keď existovali tisíce displejov televíznych prijímačov a iba jedna alebo dve vysielacie stanice (napr. Iba jedna alebo dve televízne kamery), bolo jednoduchšie vložiť do kamery kompresívnu nelinearitu, než vyvolať všetky televízory a vložte jeden do každého televízneho prijímača.

Náhodou to tiež pomohlo pri znižovaní hluku. V zvuku to nazývame „Dolby“(„kompandovanie“) a udeľujeme mu za to patent. Na videu sa to stalo úplnou náhodou. Stockham navrhol, aby sme zobrali logaritmus obrázkov pred ich spracovaním a potom urobili antilog. Neuvedomil si, že väčšina fotoaparátov a displejov to už robí celkom náhodou. Namiesto toho som navrhol, aby sme urobili presný opak toho, čo Stockham navrhol. (Pozri „Inteligentné spracovanie obrazu“, John Wiley and Sons Interscience Series, strany 109-111.)

Na dolnom obrázku vidíte navrhované antihomomorfné (kvantimetrické) spracovanie obrazu, kde sme pridali krok rozšírenia a kompresie dynamického rozsahu.

Krok 2: Spracujte obrázky alebo vykonajte počítačové videnie, strojové učenie alebo podobne

Druhým krokom po rozšírení dynamického rozsahu je spracovanie obrázkov.

V mojom prípade som jednoducho vykonal dekonvolúciu obrazu s funkciou rozmazania, tj. Odfarbenie obrazu, ako je bežne známe v doterajšom stave techniky.

Existujú dve široké kategórie kvantimetrického snímania obrazu:

• Pomáha ľuďom vidieť;
• Pomáhajúce stroje vidieť.

Ak sa pokúšame pomôcť ľuďom vidieť (čo je príklad, ktorý tu uvádzam), ešte nie sme hotoví: musíme spracovaný výsledok vrátiť späť do priestoru obrázkov.

Ak pomáhame strojom vidieť (napr. Rozpoznávanie tváre), sme hotoví (nie je potrebné pokračovať krokom 3).

Krok 3: Znova skomprimujte dynamický rozsah výsledku

Keď pracujeme v rozšírenom dynamickom rozsahu, hovorí sa, že sme v „svetelnom priestore“(kvantimetrický obrazový priestor).

Na konci kroku 2 sme v svetelnom priestore a musíme sa vrátiť do priestoru obrázkov.

Tento krok 3 je teda o návrate do obrazového priestoru.

Ak chcete vykonať krok 3, jednoducho skomprimujte dynamický rozsah výstupu z kroku 2.

Ak poznáte funkciu odozvy fotoaparátu, jednoducho ju aplikujte a získajte výsledok f (p (q)).

Ak nepoznáte funkciu odozvy fotoaparátu, jednoducho použite dobrý odhad.

Ak ste v kroku 1 vyrovnali pixely obrázka na druhú, teraz je čas vziať druhú odmocninu každého pixelu obrázka, aby ste sa vrátili k svojmu odhadu týkajúcom sa priestoru obrazu.

Krok 4: Možno budete chcieť vyskúšať aj ďalšie variácie

Odstránenie rozmazania je len jedným z mnohých možných príkladov. Zoberme si napríklad kombináciu viacerých expozícií.

Odfoťte akékoľvek dva obrázky, napríklad dva, ktoré mám vyššie. Jedného zobrali cez deň a druhého v noci.

Skombinujte ich a vytvorte obraz podobný súmraku.

Ak ich len spriemerujete, vyzerá to ako odpad. Skúste to sami!

Ale ak najskôr rozšírite dynamický rozsah každého obrázku, potom ho pridáte a potom skomprimujete dynamický rozsah súčtu, vyzerá to skvele.

Porovnajte spracovanie obrazu (pridávanie obrázkov) s kvantimetrickým spracovaním obrazu (rozbalenie, pridanie a následné skomprimovanie).

Môj kód a ďalší ukážkový materiál si môžete stiahnuť tu:

Krok 5: Pokračujte ďalej: Skúste to teraz s kompozitnými obrázkami HDR

(Na obrázku vyššie: HDR zváračská kukla používa kvantimetrické spracovanie obrazu na prekrytie rozšírenej reality. Pozri Slashgear 2012, 12. september.)

V súhrne:

nasnímajte obrázok a vykonajte nasledujúce kroky:

1. rozšíriť dynamický rozsah obrazu;
2. spracovať obrázok;
3. komprimovať dynamický rozsah výsledku.

A ak chcete ešte lepší výsledok, vyskúšajte nasledujúce:

zachytiť množstvo rôzne exponovaných obrázkov;

1. rozšírte dynamický rozsah do svetelného priestoru podľa môjho predchádzajúceho inštrukcie o HDR;
2. spracovať výsledný kvantimetrický obraz, q, v svetelnom priestore;
3. komprimujte dynamický rozsah pomocou mapovania ton.

Bavte sa a prosím kliknite na „Zvládol som to“a zverejnite svoje výsledky. Rád sa k tomu vyjadrím alebo poskytnem konštruktívnu pomoc.