En los últimos años he estado utilizando la tecnologia 3D en el aula de diversas maneras, algunas de ellas las he comentado en este blog, pero siempre partiendo del diseño mediante la combinación de formas geométricas en 2D y 3D para crear piezas y objetos para que fuesen impresos y, por tanto, materializados en el mundo real.

Una de las aplicaciones de esta tecnología ha sido la de crear en el aula recursos táctiles que puedan dar servicio a personas con discapacidad visual, de acuerdo a los objetivos del proyecto Erasmus+ PRINT3D.

Por ejemplo, el diseño de unas células en 3D puede suponer un recursos muy práctico para enseñar las partes de una célula de forma táctil en clase de biología.

Las posibilidades de este campo son muchas y muy variadas, pero el problema llega cuando no se trata de diseñar una abstracción, sino de recrear un objeto real. ¿Cómo representamos táctilmente, por ejemplo, la morfología de la concha de un molusco en una clase de biología?

En este caso, el diseño geométrico se ve muy limitado para ofrecer una solución aceptable.

Es en este punto donde hace su entrada el proyecto Erasmus+ AMUSING, completando a su predecesor PRINT3D a través de invertir el punto de vista: ahora no se trata de trasladar los objetos de la pantalla a la realidad, sino de la realidad a la pantalla.

Efectivamente, este nuevo proyecto pone el foco en el escaneado 3D; Si no podemos diseñar una concha de molusco realista combinando formas geométricas, la obtendremos directamente de la realidad y luego, la compartimos en Internet para que otras personas puedan imprimirla en 3D y utilizarla como recurso en el aula.

Fotogrametría: La clave de todo esto

Lo mejor de todo es que las técnicas de escaneado 3D se encuentran en un momento de madurez muy interesante, lo que las pone al alcance del aula sin necesidad de una gran inversión económica ni de la necesidad de tener unos conocimientos técnicos muy elevados.

En ese sentido, me atrevería a decir que estas técnicas tienen una curva de aprendizaje mucho mas pronunciada que la impresión 3D: se obtienen resultados sorprendentes al poco tiempo de empezar.

La tecnología clave detrás del escaneado 3D del que voy a hablar aquí es la fotogrametria. Según la Wikipedia « es el arte, ciencia y tecnología para la obtención de medidas fiables de objetos físicos y su entorno, a través de grabación, medida e interpretación de imágenes y patrones de energía electromagnética radiante y otros fenómenos”.

Lo cierto es que la fotogrametría ya lleva bastante tiempo entre nosotros y, aunque no nos demos cuenta, está presente en multitud de aplicaciones tecnológicas actuales.

De forma muy resumida, se trata de hacer fotos de un objeto desde diferentes ángulos para calcular las diferencias entre las imágenes y así interpretar medidas y, por tanto, la forma.

No es un proceso conceptualmente sencillo, pero afortunadamente, como veremos a continuación, el software actual permite realizarlo de una manera intuitiva sin necesidad de configurar parámetros avanzados.

El proceso con más detalle

Antes de ver el software, vamos a ver los pasos, a grandes rasgos, se realizan para obtener un modelo en 3D a partir de un objeto real.

• Toma de imágenes: En primer lugar, hay que tomar fotos desde diferentes ángulos. Se recomienda que la iluminación sea buena y la foto esté bien enfocada. Por ello, es recomendable usar un trípode y, si puede ser, ubicar el objeto en una peana giratoria para facilitar su giro. Lo ideal es hacer barridos 360º desde varios ángulos, para capturar todos los detalles del objeto (por ejemplo, con la cámara a 10º, luego a 40º y finalmente a 80º). Es importante que las fotos se solapen unas con otras, por lo que el giro del objeto entre foto y foto, debería de ser inferior a 15º).

Hasta aquí es lo que hacemos nosotros, de lo que viene ahora ya se encarga el programa de fotogrametría cuando le pasamos las fotos.

• Detección de puntos análogos (Feature extraction): Se analizan las fotos y, gracias a los solapamiento, se detectan los puntos homólogos, es decir, detalles del objeto que aparecen en varias fotos.
• Comparación de puntos homólogos (Feature matching): Se comparan los puntos homólogos de las diferentes imágenes para encontrar coincidencias, es decir, el mismo punto en diferentes imágenes. Esta es la clave del proceso y de la cantidad de puntos que relacione, dependerá la calidad del modelo.
• Triangulación (Structure from motion): A partir de los puntos homólogos y de los cambios detectados entre un punto homólogo en una imagen y el mismo punto en otra, se calcula el desplazamiento del objeto y su nube de puntos (coordenadas que definen el volumen del objeto).
• Creación del mapa denso (Deep map): A partir de la triangulación, se interpolan nuevos puntos homólogos para acabar de completar el modelo y darle mayor detalle a la nube de puntos. Esta fase es la más laboriosa y suele requerir del uso de una tarjeta gráfica.
• Mallado (Meshing): Una vez interpolado el mapa denso, se teje una malla en 3D, como una estructura de alambre, que recrea el volúmen detectado.
• Texturizado (Texturing): Es el proceso final en el que se añade a la malla una capa con una imagen generada a partir de las fotografias en las que se le de el aspecto real del objeto.

Y con esto estaría todo, si el programa ha podido trabajar con las fotos proporcionadas, obtendríamos un archivo con extensión OBJ en el que encontraríamos el objeto en 3D.

Ya os adelanto que esto no siempre ocurre y, a veces el programa muestra un error porque no ha podido procesar bien las imágenes. Entonces, hay que descartar sesiones fotográficas enteras por una mala iluminación o enfoque, que hace que el software de fotogrametría no pueda sacar nada en claro del objeto.

Para evitar que eso ocurra, en el siguiente punto, recomiendo el uso de algunos utensilios relativamente fáciles de encontrar para optimizar la toma de fotografías. Pero antes, finalicemos la explicación de este proceso, pues si todo ha ido bien, una vez generado el archivo OBJ, volvemos a tomar protagonismo en un último paso:

• Revisión del modelo: Tenemos que reparar los posibles errores que aparezcan en el modelo generado: caras sin cerrar, vértices duplicados, etc. Esto lo podemos hacer con cualquier software de edición 3D (Meshlab, Microsoft 3D builder…). La mayoría de ellos incorporan asistentes para reparar el modelo. También en este paso, tenemos que eliminar aquellas zonas del diseño que no sean relevantes y que se han generado en el modelo: partes de la peana, objetos del fondo, etc. Normalmente, basta con seleccionarlos en un programa de edición 3D y darle a la tecla suprimir.

Con esto ya estaría todo, y tendríamos nuestro modelo en 3D para imprimir (enviar el OBJ a Cura 3D) o para compartir (subirlo a un repositorio online como Sketchfab).

Recursos necesarios

Como se ha comentado, la toma de imágenes es un paso crítico que va a afectar a todo el proceso posterior.

Lo ideal es disponer de un mini estudio fotográfico, para conseguir imágenes con la mejor calidad posible. Tampoco hace falta un montaje profesional, aunque cuanto más profesional sea, mejores imágenes se obtendrán.

A continuación, os propongo una serie de elementos, relativamente fáciles de encontrar para montar ese mini estudio con el que empezar con la fotogrametría (con * lo que es imprescindible, el resto es opcional):

• Cámara digital* No hace falta que sea una reflex, pero si que es muy recomendable que tenga una buena lente y se pueda configurar en modo manual.
• Trípode: Para evitar vibraciones en la cámara, especialmente, si se ha puesto una velocidad de obturación baja. Nos ayudará también a establecer las diferentes alturas e inclinaciones de cámara con la que haremos el barrido 360º.
• Plato giratorio: Esto ayuda a realizar el barrido 360º del objeto. Vamos girando el plato de 15º en 15º, y hacemos una foto en cada paso. Puede ser una peana giratoria de una televisión.
• Caja de luz y focos: nos van a permitir obtener una iluminación uniforme y sin sombras.
• Un cartón o tela de croma, que ayudará a eliminar detalles del fondo de la imagen y, por tanto, a agilizar el procesado de las imágenes.
• Ordenador *, si tiene tarjeta gráfica NVidia (compatible con CUDA), mejor.

Como se puede ver, con una buena cámara y un buen ordenador ya podemos trabajar. Y, sí, también valen las cámaras del móvil.

Sobre el software

Una vez tomadas las fotografías, hay pasarlas al software de fotogrametria para que haga la magia.

Existen multitud de programas de fotogrametria, algunos gratuitos, otros de pago. Entre los primeros, cabe destacar Meshroom, que es un software libre multiplataforma bastante versátil, intuitivo y que, además, da muy buenos resultados.

En el siguiente vídeo se puede ver su funcionamiento:

Se puede descargar de forma gratuita desde su web:

• Enlace a la web de descarga de Meshroom

Además, tambien es interesante disponer de un programa de visualización de modelos 3D, con el que veremos los resultados. En Windows se puede usar el 3D Builder que se incluye con Windows 10. En GNU/Linux se puede usar Meshlab.

Ejemplo de aplicación

Por poner un ejemplo práctico del proceso, vamos a volver sobre el ejemplo del gasterópodo que queremos usar en la clase de biología. Nos han prestado uno y lo preparamos todo para fotografiarlo.

Hemos obtenido 36 fotografías, haciendo barridos 360º (vuelta completa a la peana) en 3 ángulos de cámara diferentes. El resultado tiene este aspecto:

Comparto las fotos, por si alguien quiere hacer pruebas:

Dataset 36 fotos gasteropodo

Una vez hemos hecho las fotos, las arrastramos en el Meshroom:

Ahora pulsamos el botón Start para que empiece el proceso. Como se puede ver, en la parte inferior hay un grafo en el que se detallan todos los pasos que hace el programa. Si os fijáis, los pasos son los mismos que he detallado más arriba.

Durante el proceso veremos como el programa va pasando por los diferentes cuadrados, cambiando de color: naranja significa en proceso, verde, paso completo. Si sale rojo es porque el paso ha fallado.

El proceso puede tardar minutos u horas. Dependerá del número y tamaño de las imágenes, de la potencia del ordenador y de la presencia o no de una tarjeta gráfica.

Si todo va bien, podremos ver la nube de puntos generada en el área de representación de la derecha.

Un detalle muy interesante de esa visualización es que también nos muestra la ubicación de la cámara que ha calculado para cada imagen. Si os fijáis, al final lo que se ha intentado con los diferentes barridos es emular una semiesfera.

Para ver el resultado del proceso, es decir, el objeto generado, hacemos clic derecho sobre el último nodo (Texturing) y seleccionamos Open folder. Esto abrirá la carpeta en la que está el archivo OBJ que ha generado Meshroom.

Si abrimos el archivo OBJ en el Meshlab, veremos como ha capturado a la perfección la forma del caparazón:

Ahora, puedo llevar este archivo OBJ a la impresora 3D para replicarlo tantas veces como quiera:

También puedo subir el archivo OBJ a algún repositorio de internet para compartirlo o visualizarlo de forma interactiva en diferentes medios, como este blog:

Gasterópodo Cypraecassis rufa by Carlos M on Sketchfab

En caso de no tener un ordenador con tarjeta gráfica CUDA enabled, lee esta entrada para ver como poder obtener buenos resultados con fotogrametria.

Conclusiones

La fotogrametría es un proceso maduro para la generación de modelos en 3D a partir de objetos del mundo real, habitualmente vinculada a la generación de mapas en 3D. Sin embargo, como hemos visto, puede ser fácilmente utilizada en el aula para generar objetos de aprendizaje, ya sea gracias a la obtención de un modelo 3D interactivo o bien por la posibilidad de replicar objetos.

Sin embargo, el proceso, aunque aparentemente sencillo y accesible gracias a la existencia de software libre multiplataforma, requiere de una cierta mano para la fotografía, ya que la toma de imágenes es el paso clave para obtener buenos resultados. Lo que, en realidad, es una buena excusa para introducir en el aula algunas nociones sobre la fotografía digital, lo que tampoco está de más.