1 / 103

Foto 3D Allan Rocha Daniel Campos

Departamento de Informática. Foto 3D Allan Rocha Daniel Campos. Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass. Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem

yaholo
Download Presentation

Foto 3D Allan Rocha Daniel Campos

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Departamento de Informática Foto 3DAllan RochaDaniel Campos Disciplina:Visão Computacional e Realidade Aumentada Professor :Marcelo Gattass

  2. Tópicos Motivação Pipeline Foto 3D - Calibração de Câmeras - Calibração Câmera-Projetor - Reconstrução no Espaço da Imagem - Geração de Malhas Atualizações Resultados Referências Departamento de Informática

  3. Algumas aplicações para Foto 3D: Museus virtuais Replicas físicas Medicina Cálculos geométricos Arquivos permanente E-commerce Moda Etc… Departamento de Informática

  4. Algumas aplicações para Foto 3D: Entretenimento / Moda / Medicina Departamento de Informática

  5. Algumas aplicações para Foto 3D: Stanford University Digital Michelangelo, 1997-2003 Departamento de Informática ITC - USC Parthenon, 2002-2004

  6. Departamento de Informática

  7. Reconstrução tridimensional • Princípio: estereoscopia (visão binocular) • Necessário conhecer a relação entre pontos da imagem e os pontos correspondentes do espaço. Departamento de Informática

  8. Departamento de Informática • Modelagem e calibração de câmeras • Modelagem • Qual é a forma da função que associa a • cada ponto do espaço sua posição na • imagem? • De que parâmetros depende?

  9. Departamento de Informática • Modelagem e calibração de câmeras • Calibração • Para uma câmera específica, quais são os • valores destes parâmetros? • Modelos de câmera • - Câmera pin-hole equivalente • - Deformação radial causada pelas lentes • (modelo empírico) • • Que técnicas matemáticas são apropriadas para lidar com • projeções perspectivas?

  10. Modelos de câmera Departamento de Informática

  11. Modelos de câmera Câmera pin-hole equivalente Deformação radial causada pelas lentes (modelo empírico) Departamento de Informática

  12. Câmera pin-hole • Projeção perspectiva Que técnicas matemáticas são apropriadas para lidar com projeções perspectivas? Departamento de Informática

  13. Departamento de Informática

  14. Departamento de Informática

  15. Departamento de Informática

  16. Departamento de Informática

  17. Departamento de Informática

  18. Departamento de Informática

  19. Departamento de Informática

  20. Calibração de câmera • Problema: obter os parâmetros extrínsecos (R,T) e intrínsecos (K) da transformação projetiva de câmera. • Dados: n pares de pontos correspondentes(Pi, pi) na cena e na imagem. Departamento de Informática

  21. Calibração de câmeras • Calibração ↔ estimação de parâmetros →otimização Departamento de Informática

  22. Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial • Utilização de um método iterativo para melhorar a solução obtida Departamento de Informática

  23. Resolvendo o problema de otimização • Otimização não-linear • Obtenção de uma boa solução inicial – método de Tsai – método de Zhang(Não implementado) • Utilização de um método iterativo para melhorar a solução obtida – método de Levenberg-Marquardt Departamento de Informática

  24. Método de Tsai • Padrão de calibração bidimensional (também há uma versão para padrão tridimensional). Modelo mais restrito de câmera (ponto principal conhecido e pixels quadrados). Resolve uma sequência de problemas de mínimos quadrados lineares Departamento de Informática

  25. Departamento de Informática Método de Tsai

  26. Método de Tsai • Cada par cena-imagem fornece uma equação envolvendo U1=rxx/Ty, U2=rxy/Ty, U3=Tx/Ty. U4=ryx/Ty, U5=ryy/Ty Departamento de Informática

  27. Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

  28. Método de Tsai • Os valores de U1, ..., U5 são encontrados resolvendo um sistema de equações lineares com mais equações do que incógnitas (mínimos quadrados). As condições de ortonormalidade permitem, a partir daí, obter R, Tx e Ty. (ficam faltando f e Tz) Departamento de Informática

  29. Método de Tsai Os valores de f e Tz são encontrados por meio de outro problema de mínimos quadrados. Departamento de Informática

  30. Exemplo Departamento de Informática

  31. Calibração conjunta de câmeras Padrão de calibração estacionário Parâmetros extrínsecos com relação a este sistema Departamento de Informática

  32. Calibração câmera-projetor Projetor não pode ser calibrado diretamente através de padrão de calibração! Departamento de Informática

  33. Calibração câmera-projetor -A idéia básica é projetar uma imagem conhecida e identificar as coordenadas dos pontos da cena em que determinados pontos desta imagem se projetam. -Utiliza a câmera que já foi calibrada. Departamento de Informática

  34. Calibração câmera-projetor Câmera calibrada normalmente (com padrão de calibração) Projetor calibrado através da câmera: projeção de padrão conhecido sobre o plano do padrão de calibração Departamento de Informática

  35. Exemplo Departamento de Informática

  36. Departamento de Informática

  37. Reconstrução no Espaço da Imagem: Baseado na reconstrução do objeto no espaço local do dispositivo. Consiste em três etapas: - Aquisição de retalhos da superfície do objeto; - Alinhamento de retalhos;e -Construção da superfície Departamento de Informática

  38. Reconstrução no Espaço da Imagem: Estereoscopia e Triangulação O algoritmo estudado baseia-se no princípio do estéreo ativo onde algum tipo de sinal (luz estruturada) é enviado e refletido pelo objeto da cena. A partir daí é realizada a triangulação e calculado a profundidade do ponto. Departamento de Informática

  39. Reconstrução no Espaço da Imagem: Luz Estruturada Complexidade Departamento de Informática

  40. Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

  41. Reconstrução no Espaço da Imagem: Luz Estruturada Pipeline - Calibrar o par câmera/projetor; Capturar as imagens do objeto com os padrões projetados; Processar as imagens para correlacionar os pixels da câmera e do projetor; - Realizar a triangulação para recuperar a profundidade do pixel. Departamento de Informática

  42. Reconstrução no Espaço da Imagem: Luz Estruturada Taxonomia Departamento de Informática

  43. Reconstrução no Espaço da Imagem: Luz Estruturada A projeção de uma sequência de n slides produz 2n faixas codificadas, e a resolução (número de faixas) de aquisição aumenta com o aumento do número de slides projetados. Para decodificar a posição de um pixel do projetor, temos que identificar a intensidade da luz projetada em cada canal de cor. O principal problema da codificação binária temporal é o grande número de slides que deve ser projetado/adquirido para atingir a resolução desejada. Departamento de Informática

  44. Reconstrução no Espaço da Imagem: Luz Estruturada Departamento de Informática

  45. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Triangulação - Cálculo da distância de pontos visíveis do objeto em relação ao dispositivo de captura. Departamento de Informática

  46. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Departamento de Informática

  47. Reconstrução no Espaço da Imagem: Aquisição de retalhos da superfície do Objeto Interseção no espaço da câmera: Departamento de Informática

  48. Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos Etapa que correlaciona os vários retalhos capturados de pontos de vista diferentes que cobrem todo o objeto a ser reconstruído. Departamento de Informática

  49. Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos 6 2 Departamento de Informática 8 1 15 alinhamento (pair-wise registration) alinhamento global (multi-viewregistration) conversãoem meshes (scanning, triangulação) Modelo final

  50. Departamento de Informática Reconstrução no Espaço da Imagem: Alinhamento dos Retalhos • Alinhar dois mapas 3D que parcialmente referem-se à mesma zona do objeto. • Suposição de uma 1º transformação relativa

More Related