Čo je kalibrácia kamery?

Kalibrácia kamery je proces, ktorý odhaduje geometrické parametre kamery, aby sa body obrazu dali vzťahovať k bodom v scéne.

Kamera je kalibrovaná, ak sú známe jej hlavná vzdialenosť, posun hlavného bodu a skreslenie objektívu (Remondino a Fraser, 2006). Hlavná vzdialenosť je ohnisková vzdialenosť, ktorú používa fotogrametria. Táto stránka pokrýva parametre, modely skreslenia, metódy kalibrácie, ako overiť výsledok a čo to znamená pre dronové prieskumy. Rovnaké slovo sa používa aj pre radiometrickú kalibráciu, čo je iný proces (pozri časť Geometrická a radiometrická kalibrácia).

Čo kalibrácia kamery odhaduje

Vnútorné parametre patria jednej kamere a jednému objektívu. Nezávisia od scény. Sú to ohnisková vzdialenosť, hlavný bod (optický stred) a skreslenie objektívu. Usmernenia USGS ich nazývajú parametre vnútornej orientácie.

Vonkajšie parametre tvoria rotácia a translácia. Menia súradnice zo scény do súradnicového systému kamery. Pre každý snímok sú iné, lebo sa kamera pohybuje.

OpenCV používa model dierkovej kamery. Ohniskové vzdialenosti (fx, fy) sú v pixeloch. Hlavný bod (cx, cy) je zvyčajne blízko stredu obrazu. Tieto dve skupiny tvoria maticu kamery, ktorú zapisujeme aj ako K alebo A:

• Riadok 1: fx, 0, cx
• Riadok 2: 0, fy, cy
• Riadok 3: 0, 0, 1

Zhangova verzia matice má jeden člen naviac. Je to hodnota šikmosti, ktorá opisuje, ako ďaleko sú dve osi obrazu od pravého uhla. V OpenCV je nulová. Model USGS má dva členy pre rozdiel mierky pixelov v x a y. Remondino a Fraser uvádzajú, že členy pre afinitu a šmyk sú v moderných digitálnych kamerách zriedka významné.

Softvér odhaduje parametre v pixeloch. Ohniskovú vzdialenosť v jednotkách dĺžky získate tak, že ju vynásobíte fyzickou veľkosťou pixela (USGS). Keď je matica kamery známa, možno ju znovu použiť, pokiaľ je ohnisková vzdialenosť pevná. Ak sa obraz zmení mierku, hodnoty matice treba zmeniť rovnakým faktorom. Koeficienty skreslenia sa s rozlíšením nemenia.

Skreslenie objektívu

Objektív má veľa prvkov, takže priamka v scéne nie je vždy priamkou v obraze. Tento jav je skreslenie. Má dve hlavné zložky.

• Radiálne skreslenie posúva body obrazu pozdĺž priamky od hlavného bodu. Rovné čiary sa javia zakrivené a rastie smerom k okraju obrazu. OpenCV opisuje sudovité a poduškovité skreslenie ako dve bežné formy. Bežné sudovité skreslenie spotrebiteľských objektívov je väčšinou prvý radiálny člen, k1 (Remondino a Fraser).
• Tangenciálne (decentrovacie) skreslenie sa objaví, keď prvky objektívu nie sú vycentrované na optickej osi. OpenCV opisuje príčinu ako objektív, ktorý nie je rovnobežný so senzorom. Je zvyčajne o rád alebo viac menšie ako radiálne skreslenie.

Základný model OpenCV má päť koeficientov: k1, k2, p1, p2 a k3. Členy k sú radiálne a členy p tangenciálne. Rozšírený model OpenCV pridáva k4 až k6, štyri tenké prizmatické členy (s1 až s4) a člen náklonu. OpenCV má aj samostatný model fisheye pre objektívy s veľmi širokým zorným poľom.

Fotogrametria používa osemčlenný model, ktorý formuloval Brown v roku 1971. Má hlavnú vzdialenosť, posun hlavného bodu (xp, yp), tri radiálne koeficienty a dva decentrovacie koeficienty (Remondino a Fraser). Usmernenia USGS uvádzajú rovnaké radiálne a decentrovacie členy. OpenCV uvádza model Brown-Conrady ako jeden z dvoch modelov, ktoré kombinuje jeho racionálny model skreslenia. Druhým je model delenia.

Skreslenie sa mení s nastavením objektívu. Radiálne skreslenie sa mení s ohniskovou vzdialenosťou a decentrovacie skreslenie sa mení so zaostrením, ale oveľa menej. Kalibrácia platí pre nastavenie objektívu, pri ktorom sa vykonala.

Metódy kalibrácie

Rovinný vzor. Kamera vidí plochý vzor z rôznych orientácií. Zhangova metóda potrebuje najmenej dve. Prvé riešenie nájde v uzavretom tvare a potom ho spresní odhadom maximálnej vierohodnosti. Návody OpenCV uvádzajú, že dva snímky stačia teoreticky. V praxi majú reálne snímky šum, preto použite najmenej 10 dobrých snímok. OpenCV podporuje šachovnicu, dosku ChArUco a kruhové mriežky, pričom kruhová mriežka potrebuje menej snímok. Ak vzor zostáva rovnobežný so svojou prvou polohou alebo sa posúva len translačne, nový snímok nepridá žiadne obmedzenie (Zhang, časť 4). Preto vzor medzi snímkami otáčajte.

V kóde OpenCV leží vzor v rovine Z = 0. Ak je veľkosť štvorca známa, napríklad 30 mm, výsledky sú v milimetroch. Ak nie je známa, výsledky sú v jednotkách jedného štvorca.

Laboratórne skúšobné pole. USGS opisuje kalibračnú klietku s tromi rovnobežnými panelmi. Panely majú retroreflexné terče a kódované terče. Objektív je zaostrený do nekonečna. Kamera robí snímky z troch uhlových pozícií a softvér potrebuje najmenej štyri kódované terče spoločné pre snímky.

Terénny kalibračný rozsah. Kalibračný rozsah má husto rozmiestnenú množinu presných riadiacich bodov. Parametre dá vyrovnanie zväzku metódou najmenších štvorcov. USGS uvádza, že to vyžaduje letecké snímky nad rozsahom, čo môže byť nepohodlné, a že rozsah vyžaduje starostlivú údržbu.

Samokalibrácia. Softvér pre štruktúru z pohybu nájde spojovacie body vo veľkom počte snímok. Spoločne odhaduje vnútornú orientáciu, skreslenie a vonkajšiu orientáciu. USGS uvádza, že ide o najbežnejšiu metódu pri mapovaní pomocou UAS. Tiež vysvetľuje, prečo laboratórna kalibrácia pre dron nestačí. Parametre sa môžu medzi laboratóriom a terénom meniť, lebo snímače nie sú stabilné.

Samokalibrácia funguje len vtedy, keď je sieť snímok silná. Remondino a Fraser uvádzajú konvergentné snímky, kolmé uhly natočenia a veľký počet dobre rozložených bodov. USGS dopĺňa, že spojovacie body majú ležať na stabilných povrchoch a byť viditeľné aspoň zo šiestich miest.

Ako overiť výsledok

Chyba spätného premietnutia ukazuje, aké presné sú parametre. Softvér premietne známe body objektu do obrazu s odhadnutými parametrami. Potom meria vzdialenosť k bodom, ktoré v obraze našiel. Čím je chyba bližšie k nule, tým sú parametre presnejšie (OpenCV). OpenCV výsledok uvádza ako strednú kvadratickú chybu (RMSE).

Samokalibrovaný prieskum sa overuje pozemnými bodmi. USGS vynecháva niektoré pozemné riadiace body z kalibrácie a používa ich ako kontrolné body. USGS tiež odporúča ukladať kalibračné parametre a ich neistoty do metadát datasetu.

Klenutie a návrh letu

Samokalibrácia môže zlyhať, keď sa všetky snímky pozerajú takmer rovnakým smerom. Odhad skreslenia je potom nesprávny a 3D model ukazuje široké zvislé klenutie. James a Robson (2014) zistili, že táto chyba vzniká z takmer rovnobežných smerov snímania spolu s nepresnou korekciou radiálneho skreslenia. Klenutie má lineárny vzťah k radiálnemu skresleniu. Šikmé snímky ho znižujú. Bez riadiacich bodov sa chyba v ich letových plánoch znížila až o dva rády.

USGS odporúča dve letové výšky v kolmých smeroch. Vo svojom príklade sú lety sever-juh o 50 % vyššie ako lety východ-západ. Spojovacie body sa potom zachytia mnohokrát a v rôznych častiach záberu. Tým vzniká spoľahlivejší odhad vnútornej orientácie.

Prečo na kalibrácii záleží pre presnosť

USGS uvádza, že presné ortofotoprodukty sú možné aj bez dobre kalibrovanej kamery, ale potom potrebujú husté siete riadiacich bodov. USGS hovorí, že takáto sieť robí projekt neúnosne drahým.

Presnosť nevzniká len z vzorkovacej vzdialenosti na zemi (GSD). Pozemné riadiace body musia byť aspoň trikrát presnejšie, ako vyžaduje presnosť snímok. Vezmite dataset s GSD 1 cm. Povedzme, že riadiace body majú presnosť 2 cm (1 sigma) alebo lepšiu. Dataset potom môže mať presnosť menej ako 6 cm (1 sigma). Riadiace body z riešení kinematiky v reálnom čase (RTK) majú presnosť asi 2 až 3 cm (1 sigma). S nimi USGS uvádza, že snímky možno overiť len na približne 6 cm.

Geometrická a radiometrická kalibrácia

Geometrická kalibrácia opisuje dráhu svetelného lúča do kamery. Radiometrická kalibrácia je samostatný proces. Spája surové hodnoty snímača (digitálne hodnoty, digital numbers) s fyzikálnymi vlastnosťami cieľa, ako sú radiancia, odrazivosť alebo teplota. USGS uvádza, že bez nej nemajú digitálne hodnoty význam pre vedeckú analýzu. Geometrická kalibrácia toto spojenie nedáva.

Použitie pri inšpekcii dronom

Dronový prieskum letiska meria vzdialenosti, plochy a polohy zo snímok. Geometria snímok pochádza z kalibrácie kamery, takže ovplyvňuje každé meranie urobené zo snímok. Zdroje na tejto stránke neuvádzajú žiadnu požiadavku na kalibráciu kamier pri inšpekcii, ktorá by bola špecifická pre letiská. Pri prieskume sa pýtajte dodávateľa na tri veci:

• Akú metódu použili, samokalibráciu alebo laboratórnu kalibráciu.
• Ako sa výsledok overil, napríklad kontrolnými bodmi, ktoré sa pri kalibrácii nepoužili.
• Kde sa uchovávajú kalibračné parametre a ich neistoty.