Structure from Motion

Structure from Motion Papagna Sabino Flavia Camoes

Obiettivo • Ricostruire un oggetto in 3D a partire da immagini dell’oggeto da più viste Vincoli: • Uso di una sola telecamera • Calibrazione necessaria

Strumenti Utilizzati • Macchina fotografica digitale • A Multiple ViewGeometry in computer vision [Hartley & Zisserman] • Matlab

Procedura • Calibrazione Telecamera • Acquisizione Immagini • Estrazione Features • MatchingFeatures • Calcolo matrice F • Ricostruzione Proiettiva • Ricostruzione Affine • Ricostruzione Metrica

Fase 1: Calibrazione • Effettuata tramite il CalibrationToolBox • Calcolo parametri intrinseci fotocamera

Fase 2: Acquisizione Immagini

Fase 3: Estrazione Features • Estrazione Features mediante Harris Corner Detector • In questa fase si è preferito ricavare un gran numero di punti

Fase 4: MatchingFeatures • Matching effettuato mediante correlazione SSD (Sum ofSquareDifference) • Durante questa fase la soglia è stata alzata in modo da avere un matching più robusto

Fase 5: Calcolo Matrice F • Definita in modo tale che: x’Fx=0 • Si fa uso del metodo RANSAC per la linearizzazione • Si eliminano gli outliers

Fase 6: Ricostruzione Proiettiva (1/2) • P ha forma canonica P=[ I |0] • P’ viene estratta da F • Conoscendo P, P’ e le coordinate degli inliers è possibile triangolare il punto nello spazio X

Fase 6: Ricostruzione Proiettiva (2/2) • Ciò che si osserva non è molto chiaro in quanto il numero degli inliers ottenuti è basso e la matrice F è affetta da errore

Fase 7: Ricostruzione Affine (1/3) • Nella ricostruzione affine le linee che nella realtà sono parallele convergono in un punto detto Vanish Point • La ricostruzione affine permette di riavere linee parallele anche nella ricostruzione Omografia Affine: Ha = [ I |0; ] Necessario piano all’infinito:  Necessari 3 vanishpoint (calcolo manuale)

Fase 7: Ricostruzione Affine (2/3) • Calcolo VanishPoints non automatico • Vanno trovate le rette parallele • Problema: la scena deve avere diverse linee parallele in direzioni diverse altrimenti si ricade sullo stesso punto

Fase 7: Ricostruzione Affine (3/3) • Il risultato ottenuto è conseguenza del precedente

Fase 8: Ricostruzione Metrica (1/2) Necessita dei parametri intrinseci della telecamera: P = [M | m] =(KK’)-1 A*A’=(M’M)-1 Hm = [A-1 0; 0 1]

Fase 8: Ricostruzione Metrica (2/2) • Anche in questo caso vale la considerazione fatta nella ricostruzione Affine

Morpheus

Morpheus Lati positivi: • Molte features Lati Negativi: • Matching delle features errato • Difficoltà nel trovare linee parallele da utilizzare per il calcolo dei VanishPoints

Viste Multiple Problema: • L’oggetto èvisto a 360°, impossibilità di avere gli stessi punti in tutte le immagini Soluzione suggerita: • Le immagini vengono elaborate a coppie di 2 (img1 con img2, img2 con img3, ecc…)

Conclusione L’algoritmo realizzato presenta i seguenti PRO • Computazionalmente leggero • Due viste permettono di avere un risultato CONTRO: • Necessario calcolo manuale vanishpoints • Pochi inliers portano a risultati di difficile comprensione

Fine

Structure from Motion