Los avances en inteligencia artificial continúan impulsando la investigación en el campo de la visión por computadora. Uno de los desarrollos más recientes es la capacidad de convertir imágenes 2D en modelos 3D de forma instantánea y precisa.
Investigadores de Adobe Research y la Universidad Nacional de Australia han desarrollado un modelo de reconstrucción 3D capaz de convertir una sola imagen en un modelo tridimensional utilizando un enfoque basado en aprendizaje automático. El modelo utiliza una arquitectura de codificador-decodificador basada en transformadores para aprender la representación de objetos tridimensionales a partir de imágenes 2D.
Al alimentar una imagen en el sistema, el modelo genera una representación triplanar de un NeRF (red neuronal reflectante). Utiliza un codificador visual pre-entrenado llamado DINO para extraer características de la imagen y luego utiliza un decodificador para proyectar esas características en el espacio tridimensional y modela las relaciones entre los tokens tridimensionales. El resultado final es un modelo 3D detallado que puede ser renderizado desde cualquier punto de vista.
Este modelo de reconstrucción 3D es altamente escalable y eficiente debido a su arquitectura bien diseñada. Su capacidad de representar objetos tridimensionales de manera precisa y detallada lo convierte en una herramienta valiosa para diversos campos como el diseño industrial, la animación, los videojuegos y la realidad aumentada/virtual.
El enfoque utilizado por este modelo es especialmente prometedor debido a su capacidad para generalizar el aprendizaje a partir de imágenes 2D y su eficiencia en términos de tiempo de entrenamiento y ajuste de parámetros. Esto lo hace adaptable a una amplia variedad de conjuntos de datos y lo convierte en una herramienta potencialmente útil para automatizar tareas en el campo del diseño en 3D.
Con este avance, se abre un mundo de posibilidades en términos de creatividad y accesibilidad en el sector creativo. La conversión instantánea de imágenes 2D a modelos 3D abre nuevas oportunidades para los diseñadores y artistas, permitiéndoles explorar nuevas formas de expresión y creación.
En resumen, esta nueva tecnología permite convertir imágenes 2D en modelos 3D de manera instantánea y precisa, abriendo un mundo de posibilidades creativas en diferentes industrias. El modelo de reconstrucción 3D desarrollado por Adobe Research y la Universidad Nacional de Australia muestra un gran potencial en el campo de la visión por computadora y la inteligencia artificial.
Preguntas frecuentes
¿Qué es un NeRF?
Un NeRF (red neuronal reflectante) es un enfoque de modelado 3D que utiliza una red neuronal para aprender la representación de objetos tridimensionales a partir de imágenes 2D. Permite reconstruir modelos 3D detallados a partir de una sola imagen.
¿Cómo funciona el modelo de reconstrucción 3D?
El modelo de reconstrucción 3D utiliza una arquitectura de codificador-decodificador basada en transformadores. Extrae características de la imagen utilizando un codificador pre-entrenado y luego las proyecta en el espacio tridimensional utilizando un decodificador. Este modelo aprende las relaciones espaciales entre los diferentes elementos del modelo 3D para generar representaciones precisas.
¿Cuáles son las aplicaciones de esta tecnología?
Esta tecnología tiene aplicaciones en diversos campos como el diseño industrial, la animación, los videojuegos y la realidad aumentada/virtual. Permite convertir imágenes 2D en modelos 3D detallados, lo que abre nuevas posibilidades creativas y facilita el trabajo de los diseñadores y artistas.
[Source](https://www.marktechpost.com/2022/11/01/convert-any-2d-image-into-3d-model-adobe-research-and-australian-national-university-researchers-develop-large-reconstruction-model-lrm/?utm_campaign=Everything%20AI&utm_medium=email&utm_source=Revue%20newsletter)