Los datos son el nuevo pilar, el suelo fértil en el que los investigadores del MIT están sembrando algo más que píxeles. Utilizando imágenes sintéticas para entrenar modelos de aprendizaje automático, un equipo de científicos ha logrado superar los resultados obtenidos con los métodos tradicionales de entrenamiento con “imágenes reales”.
En el centro de esta estrategia se encuentra un sistema llamado StableRep, que no utiliza cualquier imagen sintética; las genera a través de modelos de texto a imagen muy populares como Stable Diffusion. Es como crear mundos con palabras.
¿Cuál es el secreto de StableRep? Una estrategia llamada “aprendizaje contrastivo multipositivo”.
“Estamos enseñando al modelo a aprender más sobre conceptos de alto nivel a través del contexto y la variación, no solo proporcionándole datos”, explica Lijie Fan, estudiante de doctorado en ingeniería eléctrica del MIT y líder de la investigación. “Cuando varias imágenes, todas generadas a partir del mismo texto y tratadas como representaciones de la misma entidad subyacente, el modelo profundiza en los conceptos detrás de las imágenes, como el objeto en sí, no solo sus píxeles”.
Este enfoque considera múltiples imágenes generadas a partir de los mismos textos como pares positivos, proporcionando información adicional durante el entrenamiento y especificando al sistema de visión cuáles imágenes son similares y cuáles son diferentes. Sorprendentemente, StableRep superó el rendimiento de modelos de primera categoría entrenados con imágenes reales en conjuntos de datos extensos.
“Aunque StableRep ayuda a mitigar los desafíos de la adquisición de datos en el aprendizaje automático, también marca un avance hacia una nueva era de técnicas de entrenamiento de IA. La capacidad de producir imágenes sintéticas de alta calidad y diversidad bajo demanda podría ayudar a reducir los gastos y los recursos pesados”, señala Fan.
El proceso de recolección de datos nunca ha sido sencillo. En la década de 1990, los investigadores tenían que capturar manualmente fotografías para crear conjuntos de datos de objetos y rostros. En la década de 2000, las personas buscaban datos en internet. Sin embargo, estos datos sin filtrar a menudo presentaban discrepancias con respecto a los escenarios del mundo real y reflejaban sesgos sociales, lo que ofrecía una visión distorsionada de la realidad. La tarea de limpiar los conjuntos de datos a través de la intervención humana no solo es costosa, sino también extremadamente desafiante. Imagina si esta ardua labor de recolección de datos pudiera reducirse a algo tan simple como emitir un comando en lenguaje natural.
Un aspecto clave del triunfo de StableRep es el ajuste de la “escala de orientación” en el modelo generativo, que asegura un equilibrio delicado entre la diversidad y la fidelidad de las imágenes sintéticas. Cuando se ajusta de manera precisa, se encontró que las imágenes sintéticas utilizadas para entrenar estos modelos auto-supervisados son tan efectivas, e incluso más, que las imágenes reales.
Yendo un paso más allá, se agregó la supervisión del lenguaje a la ecuación, creando una variante mejorada: StableRep+. Cuando se entrenó con 20 millones de imágenes sintéticas, StableRep+ no solo logró una precisión superior, sino que también mostró una eficiencia notable en comparación con los modelos CLIP entrenados con 50 millones de imágenes reales.
Sin embargo, el camino por delante no está exento de obstáculos. Los investigadores reconocen abiertamente varias limitaciones, que incluyen el ritmo lento actual de generación de imágenes, las discrepancias semánticas entre los textos y las imágenes resultantes, la posible amplificación de sesgos y las complejidades en la atribución de imágenes, todo lo cual es fundamental abordar para futuros avances. Otro problema es que StableRep requiere entrenar primero el modelo generativo con datos reales a gran escala. El equipo reconoce que comenzar con datos reales sigue siendo necesario, pero una vez que se tiene un buen modelo generativo, se puede reutilizar para nuevas tareas, como entrenar modelos de reconocimiento y representaciones visuales.
Si bien StableRep ofrece una buena solución al disminuir la dependencia de las vastas colecciones de imágenes reales, también plantea preocupaciones sobre los sesgos ocultos dentro de los datos no filtrados utilizados en estos modelos de texto a imagen. La elección de los textos, que es integral al proceso de síntesis de imágenes, no está completamente libre de sesgos, “lo que indica el papel fundamental de una selección meticulosa de textos o una posible curación humana”, afirma Fan.
“Utilizando los últimos modelos de texto a imagen, hemos obtenido un control sin precedentes sobre la generación de imágenes, lo que permite una diversidad de imágenes a partir de una sola entrada de texto. Esto supera la recolección de imágenes del mundo real en eficiencia y versatilidad. Resulta especialmente útil en tareas especializadas, como el equilibrio de la variedad de imágenes en reconocimiento de larga cola, y ofrece un complemento práctico al uso de imágenes reales para el entrenamiento”, concluye Fan. “Nuestro trabajo representa un avance en el aprendizaje visual, hacia el objetivo de ofrecer alternativas de entrenamiento rentables, al tiempo que destaca la necesidad de mejorar continuamente la calidad y la síntesis de datos”.
Preguntas frecuentes
1. ¿Qué es StableRep?
StableRep es un sistema desarrollado por investigadores del MIT que utiliza imágenes sintéticas para entrenar modelos de aprendizaje automático. Se basa en una estrategia llamada “aprendizaje contrastivo multipositivo” y se utiliza en conjunción con modelos de texto a imagen como Stable Diffusion.
2. ¿Cómo se generan las imágenes sintéticas en StableRep?
Las imágenes sintéticas se generan a través de modelos de texto a imagen populares y ultra-populares, utilizando el texto como entrada para crear imágenes diversas.
3. ¿Qué ventajas tiene el enfoque de StableRep?
StableRep supera a los modelos entrenados con imágenes reales en términos de rendimiento y eficiencia. Además, permite reducir los costos y los recursos asociados con la adquisición de datos reales.
4. ¿Cuáles son las limitaciones actuales de StableRep?
StableRep todavía enfrenta desafíos como la velocidad lenta de generación de imágenes, las discrepancias semánticas entre los textos y las imágenes resultantes, la posible amplificación de sesgos y las complejidades en la atribución de imágenes. Estos problemas deben abordarse para futuros avances.
5. ¿Qué papel juega la selección de textos en el proceso de síntesis de imágenes?
La elección de los textos es importante en el proceso de síntesis de imágenes, ya que puede introducir sesgos en el conjunto de datos. Se destaca la necesidad de una selección cuidadosa de los textos o una posible curación humana para minimizar los sesgos.