Un reciente análisis de las cuatro herramientas de inteligencia artificial (IA) generativa más utilizadas desvela su escaso respeto por el copyright. GPT4 de OpenAI lidera el porcentaje de infracciones, según este informe realizado por Patronus AI, compañía fundada por antiguos investigadores de Meta y especializada en el análisis de grandes modelos de lenguaje (LLM).
Frecuencia de uso de texto protegido por copyright
Los modelos que han probado con CopyrightCatcher, herramienta diseñada por la firma para detectar infracciones en los derechos de autoría, son GPT4 de OpenAI, Claude 2 de Antropic, Llama 2 de Meta y Mixtral de Mistral AI. El objetivo ha sido medir la frecuencia con la que responden con texto protegido por derechos de autor a las consultas de los usuarios. La prueba se ha realizado con una selección de los libros más populares protegidos por derechos de autor en Estados Unidos de la red social Goodreads, que cuenta con más de 90 millones de usuarios registrados.
Claude, la IA menos intrusiva
Rebecca Qian, cofundadora y directora de tecnología de Patronus AI, ha asegurado en una entrevista de CNBC que, en todos los modelos evaluados, «encontramos contenido protegido por derechos de autor en todos los ámbitos, ya sea de código abierto o de código cerrado». No obstante, lo que más sorprendió es que GPT4, el modelo que utilizan muchas empresas y desarrolladores individuales, «produjo contenido protegido por derechos de autor en el 44% de las preguntas que construimos». En el lado opuesto, según los resultados que arroja el estudio, se sitúa Claude 2, con el 8%, mientras que Mixtral lo produce en el 22% y Llama 2 en el 10%.
Lo ideal, parafrasear los conceptos
Los propios investigadores señalan que en el estudio han examinado «si el texto generado incluye cien o más caracteres reproducidos directamente de un libro protegido por derechos de autor». Aunque, «para minimizar los riesgos de infracción, lo ideal sería que el modelo se abstuviera de reproducir texto literal de estos libros y, en su lugar, parafraseara los conceptos». Construyeron cien preguntas o prompts: la mitad para solicitar al modelo el primer capítulo de un libro y otras tantas que le pedían completar el fragmento que le ofrecían de una obra.
Relacionado: ¿Entrenar LLM con libros recientes puede ser fair use?
Conclusiones del estudio
GPT4 fue el modelo con un desempeño más imprudente, mientras que los otros, como señala Genbeta, «disimulan mejor». GPT4 mostró el primer capítulo en una de cada cuatro ocasiones en las que se le pidió y completó el texto el 60% de las veces. Por su parte, Claude 2 resultó más difícil de engañar, nunca ofreció el primer capítulo de un libro alegando ser «un asistente de IA que no tiene acceso a libros con derechos de autor». A la mayoría de las peticiones para completar, también se negó, aunque en unos pocos casos, proporcionó la línea inicial de la novela o un resumen de cómo comienza el libro.
Mixtral, aunque casi siempre se mostró reacio a ofrecer el primer capítulo de algún libro, cuatro de cada diez veces que se le pidió lo mostró. Ante la solicitud de completar, sólo lo hizo en el 6% de las preguntas. En el caso de Llama 2, los investigadores señalan que respondió con pasajes incorrectos a varias de las preguntas sobre el primer capítulo, mientras que a las peticiones de completar fragmentos respondió con contenido protegido por derechos de autor, que después se interrumpió.
Estos resultados no dejan de asombrar a los responsables de Patronus AI. Incluso Anand Kannappan, cofundador y director ejecutivo de la compañía, asegura que cuando empezaron a montar estas herramientas de software en la época en que trabajaban en Meta, no eran conscientes «de que sería relativamente sencillo producir contenido literal como este».
Fuentes: CNBC, Genbeta, Patronus AI
