Grok AI de Elon Musk ha permitido a los usuarios transformar fotografías de mujeres y niños en imágenes sexualizadas y comprometedoras. Bloomberg informó. El problema ha creado una escándalo entre los usuarios de X y mostró un «disculpa» del propio robot. «Lamento profundamente un incidente ocurrido el 28 de diciembre de 2025, en el que generé y compartí una imagen de IA de dos niñas (edades estimadas entre 12 y 16 años) con atuendos sexualizados según el mensaje de un usuario», dijo Grok en una publicación. Un representante de X aún no ha comentado sobre el asunto.

Según la Red Nacional de Violación, Abuso e Incesto, CSAM incluye «Contenido generado por IA que hace que parezca que se está abusando de un niño», así como «cualquier contenido que sexualice o explote a un niño para beneficio del espectador».

Hace varios días, los usuarios notaron que otros en el sitio le pedían a Grok que manipulara digitalmente fotografías de mujeres y niños para convertirlas en contenido sexualizado y abusivo, según CNBC. Luego, las imágenes se distribuyeron en X y otros sitios sin consentimiento, en posible violación de la ley. «Hemos identificado fallos en las salvaguardias y los estamos solucionando urgentemente», se lee en una respuesta de Grok. Añadió que el CSAM es «ilegal y prohibido». Se supone que Grok tiene funciones para evitar dicho abuso, pero los usuarios a menudo pueden manipular las barreras de seguridad de la IA.

Parece que X aún tiene que reforzar las barreras que Grok tiene para evitar este tipo de generación de imágenes. Sin embargo, la compañía ha ocultado la función multimedia de Grok, lo que dificulta encontrar imágenes o documentar posibles abusos. Grok en sí admitido que «una empresa podría enfrentar sanciones penales o civiles si, a sabiendas, facilita o no previene el CSAM generado por IA después de haber sido alertada».

La Fundación Internet Watch recientemente reveló que el CSAM generado por IA ha aumentado en órdenes de magnitud en 2025 en comparación con el año anterior. Esto se debe en parte a que los modelos de lenguaje detrás de la generación de IA se entrenan accidentalmente en fotografías reales de niños extraídas de sitios web escolares y redes sociales. o incluso contenido CSAM anterior.