Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes

1. Sistema de posicionamiento de objetos mediante visión estéreo embarcable en vehículos inteligentes Autor: Jorge Tarlea JiménezDirector: Roberto J. López Sastre 2. Índice ● Objetivo ●Resultados ● Trabajo realizado● Calibración ● Calibración de las cámaras ● Rectificación ● Método empleado● Estimación de distancias ● Concepto de disparidad ● Tiempos de ejecución ● Montaje realizado●Ejemplos ● Rectificación de imágenes ● Búsqueda de●Conclusiones correspondencias ●Futuras líneas de trabajoProyecto fin de carrera - Jorge Tarlea2 3. ObjetivoEstimación de las distancias a las que se encuentran objetos deinterés dentro del campo de visión de un sistema de adquisiciónde imágenes. Proyecto fin de carrera - Jorge Tarlea3 4. Trabajo realizado● Sistema de adquisición de imágenes estéreo ● Implementación software: A)Calibración de las cámaras B)Estimación de distancias Proyecto fin de carrera - Jorge Tarlea 4 5. Trabajo realizado● Sistema de adquisición de imágenes estéreo Proyecto fin de carrera - Jorge Tarlea 5 6. Trabajo realizado ● Implementación software: A)Calibración de las cámaras B)Estimación de distancias Proyecto fin de carrera - Jorge Tarlea 6 7. Calibración de las cámaras ● Obtención de parámetros: 01 fxs cx ● Intrínsecos K =@0 fycy A ● Extrínsecos00 1m w [K0][Rt]M Proyecto fin de carrera - Jorge Tarlea 7 8. Calibración de las cámaras: Distorsión ☺ Con distorsiónRADIALTANGENCIAL Proyecto fin de carrera - Jorge Tarlea8 9. Calibración de las cámaras ● Método de Zhang mejorado: ● Autodetección de puntos → Homografía → Intrínsecos, extrínsecos y distorsiónProyecto fin de carrera - Jorge Tarlea 9 10. Calibración de las cámaras ● Método de Zhang mejorado: ● Autodetección de puntos → Homografía → Intrínsecos, extrínsecos y distorsiónProyecto fin de carrera - Jorge Tarlea 10 11. Concepto de disparidadd = xL ¡ xR Proyecto fin de carrera - Jorge Tarlea 11 12. Montaje realizado ● Ejes ópticos paralelos ● Cámaras coplanaresProyecto fin de carrera - Jorge Tarlea 12 13. Rectificación de imágenes ● Filas de píxeles alineadas en las dos imágenes → Obtención de disparidades ● Montaje realizado no ideal → Necesario rectificar las imágenes obtenidas ● Método de Bouguet → Menos distorsión que otros (Ej.: Hartley)Proyecto fin de carrera - Jorge Tarlea 13 14. Rectificación de imágenes ● Filas de píxeles alineadas en las dos imágenes → Obtención de disparidades ● Montaje realizado no ideal → Necesario rectificar las imágenes obtenidas ● Método de Bouguet → Menos distorsión que otros (Ej.: Hartley)Proyecto fin de carrera - Jorge Tarlea 14 15. Búsqueda de correspondenciasfTZ = d Método de KonoligeMétodo de BirchfieldProyecto fin de carrera - Jorge Tarlea 15 16. Resultados: Calibración ● Calibración precisa con: ● Tablero de 6 x 8 esquinas interiores. ● Más de 7 pares de imágenes. ● Problemas al no detectarse todas las esquinas: ● Distancia (excesiva) del mismo en la foto. ● Imagen borrosa (objeto de calibración en movimiento). Proyecto fin de carrera - Jorge Tarlea 16 17. Resultados: RectificaciónProyecto fin de carrera - Jorge Tarlea 17 18. Resultados: RectificaciónProyecto fin de carrera - Jorge Tarlea 18 19. Resultados: Estimación de distancias ● Dos métodos para obtener la disparidad de la región de una imagen:Media:40 £ 200 + 16 £ 100= 172:4256Histograma:Valor más repetido → 200Proyecto fin de carrera - Jorge Tarlea19 20. Resultados: Estimación de distancias¡La media es más estable!¡La media es más estable! Proyecto fin de carrera - Jorge Tarlea 20 21. Resultados: Tiempos Proyecto fin de carrera - Jorge Tarlea 21 22. Ejemplo 1: CocheProyecto fin de carrera - Jorge Tarlea 22 23. Ejemplo 2: Personas Proyecto fin de carrera - Jorge Tarlea 23 24. Conclusiones 1. Error contenido hasta cierta distancia → Disposición de los elementos cercanos. 2. Alternativa válida al uso de sensores → Entendimiento de la escena. Problema: El tiempo real no se logra debido a: - Los requirimientos de cálculo del detector de objetos. - La precisión (del algoritmo de Birchfield) necesaria para obtener unas estimaciones precisas. Proyecto fin de carrera - Jorge Tarlea 24 25. Futuras líneas de trabajo 1) Refinamiento de los mapas de disparidad obtenidos → Menos “agujeros”. 2) Cámaras de más calidad y sincronizadas por trigger. 3) Tratamiento previo de las imágenes (Ej.: Detección de bordes) → Mapas de disparidad en menos tiempo. 4) Cálculos mediante GPU's (Ej.: Entorno CUDA). Reducción de tiempos en: • La detección → Posibilidad de detectores más potentes. • Generación de mapas de disparidad.Proyecto fin de carrera - Jorge Tarlea 25