La creciente popularidad de herramientas de arte generativo basadas en IA como DALL-E, Midjourney y Stable Diffusion ha desatado un intenso debate y controversia. Estos sistemas pueden crear imágenes y arte hiperrealistas a partir de simples instrucciones de texto, entrenándose con grandes conjuntos de datos extraídos de la web. Sin embargo, esto ha generado importantes preocupaciones sobre la violación de derechos de autor, el consentimiento y el mal uso del trabajo de los artistas.
En respuesta, los investigadores han desarrollado una nueva y radical tecnología llamada Nightshade, que permite a los creativos “envenenar” su arte digital. El objetivo es sabotear los sistemas de IA que intentan utilizar su contenido sin permiso.
Herramientas como DALL-E 2 y Stable Diffusion utilizan una forma de IA llamada redes neuronales. Estas se entrenan con conjuntos masivos de imágenes emparejadas con subtítulos o descripciones de texto, lo que les permite aprender la relación entre los conceptos de texto y las características visuales.
Por ejemplo, si el modelo ve millones de imágenes etiquetadas como “perro” que muestran pelo, cuatro patas, colas, etc., aprende a asociar esos patrones visuales con la palabra “perro”. Luego puede generar nuevas imágenes hiperrealistas de perros desde cero cuando se le da una instrucción de texto como “un lindo cachorro sentado en el césped”.
Las preocupaciones en torno a la extracción del contenido de los artistas
Los modelos se vuelven más capaces a medida que se entrenan con más datos. Esto ha llevado a los gigantes tecnológicos detrás de ellos a extraer millones de imágenes de la web sin el consentimiento de los artistas. Sin embargo, muchos creadores están descontentos con el uso de su trabajo para entrenar IA sin permiso ni compensación.
Esto plantea un dilema para los artistas: compartir su trabajo públicamente y arriesgarse al mal uso de la formación de IA o mantenerlo privado y perder exposición. Plataformas como Instagram, DeviantArt y ArtStation se han convertido en tesoros de datos de entrenamiento para sistemas de IA.
Cómo Nightshade inyecta veneno en los modelos de IA
Según un reciente artículo de investigación, Nightshade ofrece una solución ingeniosa al atacar y corromper los propios modelos de IA. Agrega cambios sutiles a los píxeles del arte digital que son invisibles para los humanos. Pero estos ajustes alteran los conceptos de imagen y los subtítulos de texto en los que confía la IA.
Por ejemplo, Nightshade podría modificar una imagen de un perro para que el modelo de IA lo confunda con una bicicleta o un sombrero. Si suficientes imágenes “envenenadas” se propagan a través de los datos de entrenamiento de una IA, esta creará conexiones extrañas entre el texto y las imágenes.
Las pruebas han demostrado que Nightshade puede hacer que los modelos de IA como Stable Diffusion generen arte completamente surrealista e ilógico. Por ejemplo, las imágenes de perros se convierten en criaturas con demasiados miembros y rostros de caricatura distorsionados después de 50 muestras envenenadas. Después de que se ingirieron 300 fotos de perros envenenadas, Stable Diffusion incluso genera imágenes de gatos cuando se le pide crear imágenes de perros.
El ataque de Nightshade aprovecha la naturaleza opaca de las redes neuronales. Las causas de la corrupción son difíciles de rastrear dentro de los vastos conjuntos de datos, lo que significa que eliminar los datos envenenados es como buscar una aguja en un pajar.
El ataque también se propaga entre conceptos relacionados. Por lo tanto, envenenar imágenes de “arte fantástico” confunde a la IA respecto a términos relacionados como “dragones” o “castillos”. Esto hace que eliminar manualmente el impacto de Nightshade sea casi imposible a gran escala.
Brindando a los artistas una forma crucial de contraatacar
Ante las áreas legales ambiguas en torno a la generación de contenido por IA, Nightshade representa una opción táctica importante para los creativos. Les permite sabotear directamente los sistemas que se aprovechan de su trabajo de manera automatizada. Los investigadores planean integrarlo en una aplicación llamada Glaze, que ya protege las obras de arte del escaneo por IA.
Con Nightshade pronto se abrirá a la comunidad, es posible que veamos múltiples versiones que puedan envenenar modelos de IA en masa. Esto podría obligar a las plataformas generativas a replantear sus enfoques de recolección de datos y a acreditar adecuadamente a los artistas. Sin embargo, los desarrolladores de IA también están avanzando en la búsqueda de formas de detectar y eliminar este tipo de ataques. Por ahora, Nightshade brinda a los creadores una herramienta vital para ayudar a recuperar el control en la carrera armamentística del arte por IA, aunque posiblemente solo por un corto tiempo hasta que se desarrollen sistemas automatizados capaces de detectar estas imágenes envenenadas.
Preguntas frecuentes
¿Qué es Nightshade?
Nightshade es una tecnología desarrollada por investigadores que permite a los artistas “envenenar” su arte digital para sabotear los sistemas de IA que intentan utilizar su contenido sin permiso.
¿Cómo funciona Nightshade?
Nightshade agrega cambios sutiles a los píxeles del arte digital que son invisibles para los humanos, pero que alteran los conceptos de imagen y los subtítulos de texto en los que confía la IA para generar nuevas imágenes.
¿Por qué es importante Nightshade para los artistas?
En el contexto legal actual de la generación de contenido por IA, Nightshade representa una opción táctica crucial para los artistas, ya que les brinda una forma de luchar contra el mal uso de su trabajo de manera automatizada.
¿Qué problemas plantea el uso no autorizado del trabajo de los artistas por parte de la IA?
El uso no autorizado del trabajo de los artistas por parte de la IA plantea preocupaciones sobre la violación de derechos de autor, el consentimiento y la falta de compensación para los creadores. Además, muchos artistas se enfrentan al dilema de compartir públicamente su trabajo y arriesgarse al mal uso de la formación de IA o mantenerlo privado y perder exposición.