Las autoridades de California iniciaron una investigación sobre xAI luego de semanas de informes de que el chatbot estaba generando imágenes sexualizadas de niños. «XAI parece estar facilitando la producción a gran escala de imágenes íntimas no consensuadas que se utilizan para acosar a mujeres y niñas en Internet, incluso a través de la plataforma de redes sociales X», dijo la oficina del fiscal general de California, Rob Bonta, en una declaración.
La declaración citaba un informe de que «más de la mitad de las 20.000 imágenes generadas por xAI entre Navidad y Año Nuevo mostraban a personas con ropa mínima», incluidas algunas que parecían ser niños. «Tenemos tolerancia cero con la creación y difusión basada en inteligencia artificial de imágenes íntimas no consentidas o de material de abuso sexual infantil», dijo Bonta. “Hoy, mi oficina anuncia formalmente una investigación sobre xAI para determinar si xAI violó la ley y cómo.
La investigación se anunció cuando el gobernador de California, Gavin Newsom, también pidió a Bonta que investigara xAI. «La decisión de xAI de crear y albergar un caldo de cultivo para que los depredadores difundan deepfakes de IA sexualmente explícitos y no consensuados, incluidas imágenes que desnudan digitalmente a niños, es vil», escribió Newsom.
Las autoridades de California no son las primeras en investigar a la empresa después de informes generalizados de material de abuso sexual infantil (CSAM) generado por IA e imágenes íntimas no consensuadas de mujeres. El regulador británico Ofcom también ha abierto un investigación oficialy funcionarios de la Unión Europea han dicho que también están mirando hacia el problema. Malasia e Indonesia han tomado medidas para bloquear a Grok.
La semana pasada, xAI comenzó a imponer límites de velocidad a las capacidades de generación de imágenes de Grok, pero hasta ahora se ha negado a hacerlo. tira del enchufe enteramente. Cuando se le pidió que comentara sobre la investigación de California, xAI respondió con un correo electrónico automatizado que decía «Legacy Media Lies».
Más temprano el miércoles, Elon Musk dicho «No tenía conocimiento de ninguna imagen de menores desnudos generada por Grok». En particular, esa declaración no refuta directamente la acusación de Bonta de que Grok está siendo utilizado «para alterar imágenes de niños para representarlos con ropa mínima y situaciones sexuales». Musk dijo que «el principio operativo de Grok es obedecer las leyes» y que la compañía trabaja para abordar casos de «piratería adversaria de las indicaciones de Grok».