Progress in industrial photogrammetry by means of markerless solutions

La siguiente tesis está enfocada al desarrollo y uso avanzado de metodologías fotogramétrica sin dianas en aplicaciones industriales. La fotogrametría es una técnica de medición óptica 3D que engloba múltiples configuraciones y aproximaciones. En este estudio se han desarrollado procedimientos de medición, modelos y estrategias de procesamiento de imagen que van más allá que la fotogrametría convencional y buscan el emplear soluciones de otros campos de la visión artificial en aplicaciones industriales.

Mientras que la fotogrametría industrial requiere emplear dianas artificiales para definir los puntos o elementos de interés, esta tesis contempla la reducción e incluso la eliminación de las dianas tanto pasivas como activas como alternativas prácticas. La mayoría de los sistemas de medida utilizan las dianas tanto para definir los puntos de control, relacionar las distintas perspectivas, obtener precisión, así como para automatizar las medidas.

Aunque en muchas situaciones el empleo de dianas no sea restrictivo existen aplicaciones donde su empleo condiciona y restringe considerablemente los procedimientos de medida empleados en la inspección. Un claro ejemplo es la verificación y control de calidad de piezas seriadas, o la medición y seguimiento de elementos prismáticos relacionados con un sistema de referencia determinado. Es en este punto donde la fotogrametría sin dianas puede combinarse o complementarse con soluciones tradicionales para tratar de mejorar las prestaciones actuales.

Por ejemplo, cuando se lleva a cabo la inspección o control de calidad de piezas mecanizadas que presentan una estructura repetitiva de primitivas geométricas. En estas piezas se requiere medir el posicionamiento 3D de múltiples elementos geométricos tales como agujeros y para ello es necesario colocar en cada agujero una diana con su correspondiente soporte. Estos soportes permiten autocentrar las dianas con los agujeros a caracterizar. Este requisito repercute no solo en el tiempo de preparación de la escena, sino en el coste de la solución ya que es necesario disponer de tantos adaptadores como numero de agujeros. Además del coste de adquisición, estos soportes requieren una calibración previa y en función del tamaño de la pieza su colocación es costosa debido una accesibilidad limitada.

Otra aplicación industrial donde el uso de dianas es limitante consiste en la medición de la pose de piezas con formas complejas o redondeadas. Cuando es necesario medir una pieza de esta índole, el empleo de dianas repercute directamente en el procedimiento de medida. Debido al cambio entre perspectivas o incluso problemas de oclusiones entre perspectivas consecutivas, es necesario colocar un gran número de dianas distribuidas sobre la superficie de la pieza. Sin embargo, incluso con esta distribución de dianas la precisión de medida se reduce debido al ángulo de triangulación entre imágenes. Además, existen casuísticas donde el mesurando no permite colocar dianas sobre su superficie debido a la tipología de la aplicación.

Otro caso habitual en la inspección 3D de piezas consiste en emplear dianas para poder relacionar y fusionar los escaneos parciales de la pieza que son necesarios para digitalizar toda la superficie de la misma. Al proceso de transformar cada medida parcial a un sistema de coordenadas común se le llama registro y se lleva a cabo en base a medir la posición 3D de al menos 3 dianas homologas entre medidas consecutivas. Este requerimiento limita considerablemente la metodología de medida y además restringe la flexibilidad del procedimiento a emplear.

Por ello y con el objeto de mejorar la precisión, los sistemas de escaneado 3D se combinan con sistemas fotogramétricos más precisos que miden una red de puntos de referencia. Estos puntos sirven como referencia en cada escaneado parcial ofreciendo mayor flexibilidad y libertad a la metodología. Sin embargo, el empleo de dianas es nuevamente necesario y dificulta el procedimiento de medida además de prolongar la preparación del mensurando.

Por lo tanto, la motivación de la tesis surge de aplicaciones industriales tales como las descritas donde existe margen de mejora de cara a optimizar las soluciones tecnológicas empleadas. Estas emplean diferentes procedimientos y sistemas de medida para obtener un resultado dimensional, pero presentan limitaciones importantes en cuanto a la aplicación e implementación de la fotogrametría en sus diversas configuraciones. Aunque se sabe a priori que el empleo directo de puntos característicos de las imágenes repercute en la precisión de las soluciones debido a la perdida de precisión en su identificación, su uso puede mejorar tanto la rapidez como la flexibilidad de los procedimientos de medida manteniendo un alto nivel en la automatización y una precisión acorde a la aplicación.

Por lo tanto, esta tesis contempla eliminar las dianas artificiales y utilizar la información intrínseca de las imágenes para mejorar las soluciones fotogramétricas orientadas a las aplicaciones industriales citadas previamente. Para ello, se han desarrollado modelos fotogramétricos específicos y se han utilizado algoritmos de procesamiento de imagen avanzados que permitan fusionar la fotogrametría y el campo de la visión.

La investigación en cuestión se ha estructurado en 3 casos de estudio que tratan de mejorar o al menos conseguir soluciones más polivalentes para distintas problemáticas y aplicaciones industriales mencionadas previamente. Además, este estudio comprende una tesis tipo por compendio de publicaciones. Es decir, los casos de estudio analizados y los resultados obtenidos en cada caso se han publicado en revistas científicas relacionadas con la metrología, sensórica y técnicas de medición.

Para tener una mejor visión de las tecnologías existentes, así como del estado del arte de la técnica, la memoria contempla una revisión completa tanto de sistemas industriales como de los métodos empleados en la fotogrametría convencional. En este análisis también se citan las metodologías y algoritmos empleados en cada caso. Además, se ha descrito el flujo general de trabajo y se han añadido en cada paso las distintas contribuciones desarrolladas para los casos de estudio. El objetivo de dicha estructura busca simplificar la lectura de la tesis y encajar las distintas contribuciones, así como su valor añadido en la metodología general.

El contenido de la investigación se presenta y divide de la siguiente manera. El Capítulo 1 es un resumen de la tesis que explica los diferentes capítulos, estructura y su contenido.

El Capítulo 2 introduce y enfatiza las necesidades de los procesos de fabricación industrial y cómo se solucionan en base a aplicar soluciones fotogramétricas existentes. De hecho, se añade una breve descripción de los enfoques de investigación empleados como alternativa a las metodologías existentes. Además, presenta los objetivos de la investigación y presenta las hipótesis iniciales para abordar estos objetivos que servirán de base para el apartado de conclusiones y futuras actividades.

El Capítulo 3 explica y describe el estado del arte de las soluciones fotogramétricas industriales revisando las soluciones y enfoques existentes en detalle. Desde soluciones offline hasta soluciones integradas en procesos de fabricación, se presenta una descripción general y una clasificación de las tecnologías y se sugieren mejoras al respecto, que son algunas de las necesidades que tratan de cubrir los desarrollos de esta tesis.

Como el problema fotogramétrico engloba múltiples conceptos y principios para reconstruir la información de objetos 3D, el Capítulo 4 introduce la descripción principal de los conceptos generales y los pasos de medición/procesamientos necesarios para reconstruir la información 3D a partir de datos de imágenes 2D. De hecho, el flujo de trabajo presentado es común para las estrategias de medición basadas tanto en dianas, así como en el sin marcadores. El objetivo de este apartado no es ofrecer una descripción detallada de cada término y método, sino una descripción general de los problemas y una breve descripción de los aspectos principales acompañados de referencias bibliográficas precisas.

Después de presentar el estado del arte y los principales métodos fotogramétricos aplicados en soluciones industriales comunes, el Capítulo 5 presenta los casos de estudio desarrollados y evaluados mediante la referencia a los artículos científicos publicados. Se describen tres casos de estudio y se ha determinado su alcance, así como su idoneidad, para potenciar las aplicaciones industriales actuales. Para cada caso de estudio, se describe a modo resumen la introducción y los principales resultados obtenidos. La descripción más detallada se encuentra en los anexos o en la web de cara a facilitar la lectura de la tesis.

El próximo Capítulo 6 trata los resultados y conclusiones principales, ofreciendo una reflexión general de los objetivos alcanzados y previstos inicialmente. Resume la aplicabilidad real de los procedimientos de medición desarrollados y estudiados para casos de uso reales, así como las posibilidades de mejora y los desafíos a resolver en el futuro.

El Capítulo 7 presenta las referencias a los principios y métodos citados anteriormente de cara a facilitar una consulta más profunda al respecto. El objetivo de estas referencias bibliográficas es permitir la búsqueda de información adicional para entender correctamente los conceptos involucrados en cualquier solución fotogramétrica. Con respecto a los estudios de caso, cada uno de ellos ofrece sus propias referencias a casos de estudio complementarios y recientes.

Finalmente, el Capítulo 8 contempla el anexo donde se encuentra las referencias cruzadas y las citaciones de los artículos publicados, así como el contenido de cada publicación. Además, se proporcionan enlaces web interesantes que se centran en los fundamentos fotogramétricos y las capacidades de medición que ofrecen las soluciones industriales disponibles. 

En la siguiente lista se muestra un resumen esquemático de la estructura empleada:

Capítulo 1. Resumen de la tesis y presentación general de la tesis. 
Capítulo 2. Contexto general e introducción de necesidades industriales, objetivos, motivación de la tesis y las hipótesis iniciales. 
Capítulo 3. Revisión del estado del arte de la fotogrametría industrial de campo cercano.
Capítulo 4. Resumen de métodos empleados y principales contribuciones. 
Capítulo 5. Descripción de casos de estudio publicados y resultados obtenidos.
Capítulo 6. Conclusiones generales y trabajos futuros. 
Capítulo 7. Referencias bibliográficas. 
Capítulo 8. Anexos.

Los resultados de cada caso de estudio son prometedores y adecuados para las aplicaciones industriales presentadas. Sin embargo, es necesario demostrar con más aplicaciones prácticas la viabilidad de este campo de la fotogrametría de cara a reemplazar las soluciones fotogramétricas existentes con soluciones sin dianas.

Las mejoras en términos de precisión, manejo de datos y estrategias de procesamiento de imágenes eficiencia de cómputo, velocidad en algoritmos de procesamiento de datos, estandarización de procedimientos de medición, así como en asignación de incertidumbre repercutirán de manera directa en el alcance e implementación de este tipo de aproximaciones.

La simulación de procedimientos de medición, que generalmente no se ofrece como funcionalidad en los sistemas comerciales, es otra mejora sustancial que se puede utilizar para prever la idoneidad del proceso de medición para fines de inspección. Por lo tanto, a medida que las técnicas fotogramétricas continúen desarrollándose día a día, en el futuro próximo aparecerán procedimientos innovadores de procesamiento de datos y soluciones integradas nuevas e inteligentes que cubrirán las necesidades y desafíos de la aplicaciones existentes y futuras.