Ben Zhao es profesor Neubauer de Ciencias de la Computación en la Universidad de Chicago. Sus áreas de investigación son el aprendizaje automático adversario, las interacciones persona-computadora, redes, seguridad y privacidad. También es co-director del proyecto detrás de Glaze y Nightshade, dos herramientas para proteger las obras de artistas visuales del raspado de imágenes para entrenamiento de IA.
Glaze modifica las imágenes a nivel de píxel para camuflar el estilo particular del artista. De este modo no es imitable por una IA, pero la obra sigue pudiendo apreciarse por humanos.
Mientras que Glaze es una solución «defensiva», Nightshade es una herramienta de envenenamiento de sistemas IA. También modifica la imagen, pero para hacer creer a un modelo que la raspe que contiene algo diferente. Tras aplicar Nightshade, si se trata de una fotografía de un perro, por ejemplo, un ser humano seguirá viéndolo, pero una IA podría ver un bolso u otra cosa. A diferencia de otras soluciones así, se ha observado que Nightshade es capaz de confundir a un modelo de forma que empiece a generar peores imágenes con menos muestras «envenenadas».
Relacionado: Probando Nightshade v1 para protección proactiva de copyright
El proyecto no tiene ánimo de lucro, y ambas herramientas están disponibles de forma gratuita para artistas que no quieran que sus obras se utilicen para entrenar IA.
El 12 de abril, con motivo del lanzamiento de Glaze 2.0, The Muse publicaba esta entrevista. En ella, el investigador comparte sus observaciones sobre el impacto que la IA está teniendo en la comunidad artística, qué tipo de soluciones cree que tienen más o menos futuro, y su deseo de equilibrar la balanza un poco a favor de los creadores.
Acerca de Glaze y Nightshade
Birgitte Rasine: ¿Cuántas personas están usando Nightshade y Glaze ahora?
Ben Zhao: Glaze tenía 2,2 millones de descargas la última vez que consulté, y Nightshade tenía un cuarto de millón después de cinco días (febrero 2024). Pero supongo que ahora pueden ser más.
BR: ¿Crees que hay algo que no se está comunicando adecuadamente sobre vuestro trabajo en los medios?
BZ: Se ha hablado mucho [sobre nuestro trabajo, por ejemplo aquí, aquí, y aquí]. No sé si hay algo muy evidente que eche en falta, pero sigue prevaleciendo una idea equivocada sobre quiénes son los artistas y cómo son sus vidas. Es probablemente lo que más aviva la oposición contra los artistas, esta idea de que son snobs elitistas en una galería de arte, bebiendo champán y acumulando dinero. «¡Qué quejicas son los artistas! Intentando evitar que las masas desaten su creatividad.»
¿Por qué proteger el trabajo de los artistas?
BR: Sí, esa es la gran pregunta que se ha ido lanzando a lo largo del año pasado. Varias modalidades de ¿por qué? ¿Por qué deberíamos proteger el trabajo que hacen los artistas? Para nosotros, los creadores, es bastante obvio.
BZ: Sí, ésa es a veces la visión en el sector tecnológico. Pero viene de muchos malentendidos sobre lo que es el arte y lo que son las vidas de los artistas en realidad. Durante los últimos 14-15 meses, [mi equipo] ha interactuado con literalmente miles de artistas. La gran mayoría, incluso los que tienen éxito, no gana tanto dinero. Son todos de clase media o clase trabajadora. La mayoría diría que son autónomos. No tienen estabilidad laboral. Trabajan por contratos. Algunos de ellos viven de encargos, así que tienen cero estabilidad; cualquier mes la cosa puede venirse arriba o abajo.
Así que esta sensación de que se trata de un grupo privilegiado y elitista que se pasa el día sentado por galerías de arte es casi lo contrario [de la realidad]. De hecho, incluso las galerías de arte lo están pasando mal. Y cuando los artistas trabajan con galerías, es extremadamente caro; las galerías se llevan a veces cerca del 50% de los beneficios de venta. Muchos artistas se encuentran ya al límite de poder mantenerse, a ellos y a sus familias. Así que una disrupción como la de la IA generativa es una amenaza existencial. ¿Cuántos artistas pueden sobrevivir a esta disrupción? No sólo estás reduciendo la cantidad de encargos que la gente paga a artistas individuales, sino que a nivel corporativo, ¿cuántas empresas están reduciendo la plantilla de departamentos creativos enteros? Porque los presupuestos son ajustados y, ya sabes: «queremos aumentar los márgenes de beneficio. Así que ahora vamos a trabajar con algo que parece un poco menos auténtico, un poco más brillante y plástico pero no pasa nada, porque ahora lo que importan son los beneficios».
Cuando esto sucede, los despidos, las reducciones de plantilla, son inmensas. Salió hace poco un nuevo informe entrevistando a diferentes empresas, a gestores y personas a cargo de contrataciones en todas estas áreas creativas. Creen que unos 260.000 trabajos se verán interrumpidos en los próximos dos años. Es increíble. Sólo en California, dicen que unos 60.000 puestos de trabajo en la industria del entretenimiento, de los videojuegos, ilustraciones, otros sectores… una gran cantidad de pérdidas de empleo.
BR: Esos números son enormes. Pero de lo que no se habla -y se debería- es de las repercusiones. Cuando tanta gente pierde su empleo, eso afecta a restaurantes, tiendas, servicios, e incluso alquileres en los que normalmente la gente se gasta su dinero. Así que un CEO puede engordar su margen de beneficios, pero tarde o temprano esto volverá y le morderá.
BZ: Absolutamente. Esa es la cosa. Mucho de la IA ahora mismo son castillos en el aire. Se asume que toda la IA va a estar arreglada en un año, a saltos agigantados. Hablan de una «democratización de la creatividad» mágica, pero no se está contratando a nadie. Todas las empresas que están reduciendo plantilla porque pueden [realizar varias tareas] con IA hablan de aumentos de productividad. Pero es una manera elegante de decir «vamos a despedir a tus compañeros, y tú vas a hacer ahora el trabajo de cinco personas en lugar del de una». Todo esto [de democratizar la creatividad] es cuestionable y está destrozando la industria entera, destruyendo formas de vida. NO está creando puestos de trabajo.
Relacionado: SoA avisa sobre el impacto de la IA generativa en el sector editorial
Escucho esto de un buen número de personas que trabajan en estas industrias y son optimistas. Dicen: «voy a ser capaz de trabajar el 20% del tiempo y cobrar como si trabajara el 100% del tiempo». Todos sabemos que esto es una sociedad capitalista. Tú no vas a cosechar el beneficio y a pasarlo a la cadena. Van a despedir a tus amigos y te van a pedir que hagas el trabajo de equipos enteros en lugar de tu único trabajo.
Y es lo que está pasando. Muchos artistas están contando exactamente esto: que están despidiendo a equipos enteros y les piden que utilicen herramientas de IA. [Los jefes preguntan:] «¿Por qué no podéis aumentar vuestra productividad 5 veces?» Bueno, porque las herramientas de IA en muchos casos son una mierda, los artistas tienen que deconstruirlas y luego utilizarlas para crear su propio tipo de arte auténtico, y eso en realidad aumenta el trabajo, no lo reduce. Así que sí, hay muchos malentendidos y mucha exageración.
Falta de protección
BR: Es alucinante que estén intentando vendernos herramientas que no sólo se han entrenado con el trabajo de artistas sin su consentimiento, sin dar crédito ni compensación, que no sólo están eliminando empleo, sino que para colmo, se supone que tenemos que pagar para usarlas, y crean más trabajo de gestión para resultados que no son tan buenos como lo que podrían haber creado artistas por su cuenta.
Hablemos de protección. En el negocio de la cíberseguridad, como sabes, existe el famoso ciclo de la persona que crea un problema para poder vender la solución. Si introduzco malware, crearé un mercado para software antivirus. Ahora se ha llegado a un punto en el que los hackers y los expertos en seguridad compiten entre sí para llegar a lo más bajo (o a lo más alto, según se mire). ¿Crees que algo parecido puede suceder en el sector del arte?
BZ: Es difícil predecir a tan largo plazo porque no tenemos nada en ese sentido ahora mismo. Literalmente, ahora, en protección de propiedad intelectual existe el copyright, que está siendo atacado en el discurso público con mucha gente diciendo que «el copyright está muerto, ¿quién lo necesita?» Pero si te alejas de la discusión, y miras a la realidad y dónde está el campo de batalla, por decirlo así, no hay nada al otro lado. Los entrenadores de modelos de IA pueden entrenar lo que quieran. Pueden descargarse lo que quieran. [Ahora] herramientas generan prompts de estas imágenes y alimentan al proceso.
¿Qué hay al otro lado? Casos judiciales en curso que tardarán años en desarrollarse. Y después tendremos las apelaciones. Hay esfuerzos legislativos que se encuentran paralizados por grupos de presión y líderes, no sólo en Estados Unidos sino en todo el mundo. Países que tienen miedo de perderse el dinero de impuestos que puede venir por estos supuestos booms de IA; así que son laxos en la regulación de la IA. ¿Quién sabe cuándo se regulará de verdad en Estados Unidos? No es sorprendente que la Unión Europea esté avanzando, y están haciendo grandes cosas. Pero incluso eso ha supuesto un desafío. Hasta esta semana, creo que Alemania todavía estaba indecisa; podrían haber bloqueado la legislación sobre IA. Ahora parece que sigue adelante.
Así que ¿quién sabe cuánto va a tardar todo esto? Básicamente, ahora mismo no hay nada que proteja a los creadores. No hay nada que impida a las compañías copiar sus imágenes, sonidos, juegos y personajes. De hecho, parte de eso está sucediendo en tiempo real hoy.
BR: No es una batalla si un lado no tiene armas. Es una masacre.
BZ: Sí. Antes o después la gente se dará cuenta de que esto está siendo un juego unilateral. Y todo el poder está en el lado de los entrenadores y las empresas de IA. Antes de poder hablar sobre esfuerzos para equilibrar, tiene que haber algo en el otro lado, y lo único que tenemos por ahora es Nightshade. La única otra opción son los opt-out, pero no es una opción real. Es una zanahoria estupenda para estas empresas que entrenan modelos. Los ves arrastrados ante las audiencias judiciales del Senado en el Capitolio y cuando les acribillan con la ética de [lo que están haciendo], siempre sacan lo de los opt-out. Dicen «oh, tenemos listas opt-out».
¿Pero cómo funciona eso exactamente? Los artistas meten sus nombres en un sombrero y esperan que las empresas vayan en contra de su propia directiva básica de lucro y que, por la bondad de sus corazones, respeten los deseos de estos creativos que no tienen absolutamente ningún poder. No se verifica, no se obliga al cumplimiento. No puedes comprobar si alguien ha violado los opt-out. Son una promesa vacía, una esperanza y un sueño de que una empresa [sacrificará] sus propios márgenes de beneficios y dirá «Sí, vamos a empeorar a propósito nuestros modelos y a meternos en los costes y la complejidad de implementar algo que sirva para excluir a la gente que lo desee. Vamos a hacer todo eso para poder trataros bien, a pesar de que no hay manera alguna de que nadie pueda verificar que hemos respetado o violado los opt-out que, al fin y al cabo, no son más que una lista en papel.»
Ahora mismo, no tenemos la tecnología para mirar al modelo y saber decir si fue entrenado con una imagen concreta. Simplemente no lo podemos demostrar.
Los opt-out y el AI washing
BR: Los opt-out son bastante deshonestos, en mi humilde opinión. Hay un término que se está poniendo de moda: AI washing. Como greenwashing, pero relacionado al desarrollo o uso de inteligencia artificial.
BZ: Sí e incluso en los casos más positivos y optimistas, el opt-out sólo concierne a las empresas que pueden arriesgar su imagen pública. Las que acaban delante del Senado. A todas las empresas más pequeñas, ¿qué les importa? No asumen ningún riesgo. No necesitan ofrecer ninguna clase de opt-out. Cogen lo que quieren y listo.
Ése es el terreno de juego que tenemos ahora mismo. Todo en el lado de las compañías y, en el otro lado, el de los creadores, tiene promesas vacías y una esperanza y un sueño. Ahí nos encontramos. Con suerte Nightshade puede equilibrar un poquitín la balanza.
Otras soluciones y sobre el funcionamiento de Glaze y Nightshade
BR: Estoy viendo a otros intentar algo similar. Hay una startup llamada kin.art, por ejemplo, que se metió un poco con vosotros, diciendo que no vais lo bastante lejos y que su solución es mejor. ¿Qué opinas de lo que hacen?
BZ: No entiendo del todo lo que hacen porque es todo privado. Todo lo que he visto son notas de prensa superficiales. Hasta que no haya una demostración técnica real, es muy difícil decir algo. Suena a que van a hacer que sea más difícil para las empresas tomar imágenes y asociarles las etiquetas con sus, [así las llaman], «fuzzy labels» (etiquetas difusas).
El problema es que esto no es lo que les importa a las compañías. No les importan las etiquetas o los alt tags. Lo pillan todo igual. Usan herramientas tipo Blip para generar los prompts. Blip es un clasificador que básicamente mira las imágenes y te dice lo que hay en ellas, hasta donde puede. Si quieres poner una etiqueta difusa a una imagen que por ejemplo diga que hay un gato en la foto de un perro, vale, genial. Pero las empresas [de raspado de imágenes] dirán «vale, esta página hace algo raro con las etiquetas. Nos llevaremos las imágenes, les quitaremos los tags, y pasaremos todo por Blip. Listo.»
Otra cosa que mencionan es la segmentación de imágenes. Lo cual es desafortunado, porque la segmentación es un término clásico en visión artificial, que lleva usándose décadas. En visión artificial, la segmentación de imágenes significa tomar una imagen e identificar el contorno que te permite extraer un componente particular de ésta. Supongo que Kin.art está dividiendo la imagen en fragmentos y mostrándolos como una amalgama de esas piezas en pantalla. A nosotros nos parece una simple imagen, pero en términos de archivos puede que esté dividida en varias piezas. Y sí, eso puede ser un enfoque.
Excepto que, de nuevo, aquí el problema es que se trata de una única web. No son una diana que se mueve. Así que si soy una compañía que quiere rascar su contenido, ¿cómo de difícil sería decir: «sé lo que están haciendo, y voy a pasar estas imágenes por un postprocesador que reconstruye las imágenes a partir de sus fragmentos»? De nuevo, aquí estoy especulando. Puede que tengan técnicas interesantes, muy complicadas y muy robustas de las que no sé nada; es completamente posible. No quiero hacer de menos la idea de nadie o decir nada sobre lo que pueden o no pueden hacer. Sólo digo que éstas serían cosas muy básicas y si es así de básico, entonces no es genial. Pero si están haciendo algo más complicado e ingenioso, fantástico.
BR: Lo que me sorprendió de su nota de prensa es el tono con el que hablaron de vuestro trabajo, cuando vosotros sois los pioneros. Hasta ahora todas las noticias que he visto regurgitan la nota de prensa, sin profundizar ni hacer preguntas más difíciles.
BZ: Lo que es más divertido es que en su nota de prensa dicen que Glaze y Nightshade funcionan en la imagen cuando ha sido raspada. A ver, ¡hay una razón por la que hacemos eso! He estado investigando sobre seguridad en Internet durante más de 20 años. He escrito scrapers y escrito defensas contra scraping. Me conozco el terreno de batalla. Para una empresa, para un único sitio web, es una batalla perdida decir «vamos a proteger tus trabajos de los scrapers» cuando los scrapers son Microsoft y Google. ¿Me tomas el pelo? Google tiene más direcciones IP que un país pequeño. Tienen ejecutándose su propia versión paralela de Internet, que es más grande que el Internet físico que hay en este momento. Y tú como una pequeña web dices «sí, vamos a parar a todos sus bots». Quiero decir… es bueno ser optimista e idealista. Es sólo que sé exactamente cómo se luchan estas batallas y te puedo decir 16 estrategias diferentes que Google puede usar para saltarse cualquier tecnología anti-scraping.
De nuevo, les deseo lo mejor. Me parece contraproducente cuando los que se supone que están en el mismo bando se critican los unos a los otros. Si su [solución] funciona, fantástico. Es otra forma más de proteger a los artistas. Me cuestionaría su modelo de negocio. Pero habiendo hecho cosas durante más de 20 años y sabiendo exactamente cómo funcionan estos sistemas, les deseo lo mejor y buena suerte. Va a ser una pelea muy, muy difícil.
Monetización de herramientas anti-raspado
BR: La otra diferencia es que Glaze y Nightshade son gratis, mientras que kin.art cobra una pequeña suma por usar su plataforma.
BZ: Mira, lo que está claro, creo… [suspira] Creo que no es el momento de monetizar el sector. Creo que un grupo de capital de riesgo dispuesto a poner 3 millones de dólares para fundar una empresa que dice «moneticemos la destrucción que está sufriendo la comunidad artística. Moneticemos los miedos de estos artistas independientes que pueden perder sus casas o no pueden pagar el alquiler porque han perdido sus trabajos…» No es un modelo de negocio genial. ¿Cómo convences a gente que está desesperada por conseguir dinero de que paguen, para que los inversores rentabilicen su inversión? Esa parte no me convence y creo que es desconocimiento sobre la comunidad artística y cómo se encuentra la gente ahora mismo.
BR: Tu equipo y el equipo kin.art son todos ingenieros, claramente. Pero hay una marcada diferencia en vuestras actitudes, especialmente toda la promoción que has hecho tú personalmente, hablando en paneles con Karla Ortiz y Jon Lam, y viajando y hablando con organizaciones de artistas. Lo respeto mucho.
BZ: Es empatía, ¿no? Ponerse en el lugar del otro y, si puedes, molestarte en aprender cómo están viviendo y cambiar de opinión. Mucha gente no lo hace. Es más fácil.
Y hay tan poco margen de beneficios. Veo las cifras de de los artistas con los que hablamos y pienso ¡qué barbaridad! Conduces medio país para asistir a esta convención, vendes todas estas cosas, pagas por tu stand, el hotel, la comida, y al final ganas unos diez dólares a la hora SI te va bien. Es una salvajada.
Así que desde el día uno pensé «no vamos a monetizar esto» [Glaze y Nightshade]. Sería una estupidez. Esta gente necesita ayuda, y no vas a conseguir que nadie se fíe de ti si intentas sacarles dinero.
Añadir fricción para equilibrar el sistema
BR: Puedo confirmar esto personalmente, tras haber organizado (y pagado) todos los shows y exhibiciones de arte de mi hija. Es por eso que el raspado no autorizado en masa de obras de arte ha sido tan devastador para estos artistas. Ahora que ya lleva un tiempo por ahí, Glaze, quiero decir, y ahora Nightshade, ¿cómo está respondiendo el público?
BZ: Estoy activo en la comunidad de investigación y veo muchos papers bajo revisión. Diré que ahora mismo hay mucho más interés puesto en los ataques de envenenamiento. Estoy viendo muchos papers sobre envenenamiento y ataques a modelos grandes de lenguaje. Creo que en medio de todo esto hay grandes ideas y gente que sabe mucho más que yo, que probablemente puede hacer mucho más. Espero que salgan técnicas efectivas y que, cuando se publiquen, la gente las use. Y que, como he dicho, se equilibre el terreno de juego.
Tiene gracia, estuve en Suecia a finales de enero hablando con la Asociación de Artistas Sueca, esta gran organización nacional, y uno de los anfitriones tuvo una opinión muy interesante. Dijo «me encanta este trabajo porque todos los sistemas necesitan fricción». Desde su punto de vista, Nightshade está añadiendo fricción al sistema para equilibrar las cosas. Es una manera inteligente y sana de verlo. Puedes tener una lucha y puedes tener un tira y afloja, pero no si no dejas que ambos bandos tengan algo con lo que trabajar. Si un lado no tiene nada, es una paliza. Eso es lo que estamos intentando: lograr esa fricción, ese equilibrio.
Fuente y agradecimientos: Rasine, B. (2024, abril 12). The Poison Well. The Muse.
Traducción: Marta Palacio.
