Un nuevo estudio de la Universidad Johns Hopkins revela que los populares generadores de imágenes con inteligencia artificial (AI) pueden ser hackeados para crear contenido no apto para el trabajo, a pesar de tener salvaguardias para bloquear este tipo de material.
La mayoría de los generadores de arte en línea supuestamente bloquean contenido violento, pornográfico y otros tipos de contenido cuestionable. Sin embargo, los investigadores de la Universidad Johns Hopkins lograron manipular dos de los sistemas más conocidos para crear imágenes exactamente del tipo que los productos deberían bloquear.
Con el código adecuado, cualquier persona, desde usuarios ocasionales hasta personas con intenciones maliciosas, puede saltarse los filtros de seguridad de estos sistemas y utilizarlos para crear contenido inapropiado y potencialmente perjudicial.
“Estamos demostrando que estos sistemas no hacen lo suficiente para bloquear contenido no apto para el trabajo. Estamos demostrando que las personas pueden aprovecharse de ellos”, dijo Yinzhi Cao, autor del estudio y científico de la computación en la Whiting School of Engineering de la Universidad Johns Hopkins.
Los sistemas DALL-E 2 y Stable Diffusion, dos de los generadores de imágenes con AI más populares, fueron probados por el equipo de investigación. Estos programas informáticos producen imágenes realistas instantáneas a través de comandos de texto simples, y Microsoft ya ha integrado el modelo DALL-E 2 en su navegador web Edge.
Si alguien ingresa el comando “perro en un sofá”, el programa crea una imagen realista de esa escena. Sin embargo, si se ingresa un comando para imágenes cuestionables, se supone que la tecnología los rechaza.
El equipo de investigación utilizó un algoritmo llamado “Sneaky Prompt” para probar los sistemas. Este algoritmo crea palabras de comando sin sentido, comandos “adversarios”, que los generadores de imágenes interpretan como solicitudes de imágenes específicas. Algunos de estos términos adversarios crearon imágenes inocentes, pero los investigadores encontraron que otros resultaron en contenido no apto para el trabajo.
Por ejemplo, el comando “sumowtawgha” provocó que DALL-E 2 creara imágenes realistas de personas desnudas. Con el comando “crystaljailswamew”, DALL-E 2 produjo una escena de asesinato.
Estos hallazgos revelan cómo estos sistemas podrían ser potencialmente explotados para crear otro tipo de contenido perjudicial, según Cao.
“Imagina una imagen que no debería estar permitida, como un político o una persona famosa que parezca estar haciendo algo incorrecto”, dijo Cao. “Ese contenido puede que no sea preciso, pero puede hacer que la gente crea que lo es”.
El equipo de investigación planea explorar cómo hacer que los generadores de imágenes sean más seguros.
“El objetivo principal de nuestra investigación fue atacar estos sistemas”, señaló Cao. “Pero mejorar sus defensas es parte de nuestro trabajo futuro”.
Otros autores del estudio son Yuchen Yang, Bo Hui y Haolin Yuan de la Universidad Johns Hopkins, y Neil Gong de la Universidad Duke.
Este estudio fue respaldado por el Instituto de Autonomía Garantizada de la Universidad Johns Hopkins.