Malasia e Indonesia son los primeros países en bloquear a Grok, alegando que el chatbot de X no cuenta con suficientes salvaguardias para evitarlo. Deepfakes explícitos de mujeres y niños generados por IA de ser creado y difundido en X. Indonesia bloqueó temporalmente el acceso a Grok el sábado, al igual que Malasia el domingo, el Prensa asociada informes. Mientras tanto, el regulador de medios del Reino Unido, Ofcom, ha abrió una investigación formal en X según la Ley de seguridad en línea.
«El gobierno considera que los deepfakes sexuales no consentidos son una grave violación de los derechos humanos, la dignidad y la seguridad de los ciudadanos en el espacio digital», dijo en un comunicado el ministro de Comunicación y Asuntos Digitales de Indonesia, Meutya Hafid. Los funcionarios del país dijeron que los hallazgos iniciales mostraron que Grok carece de controles efectivos para evitar que los usuarios creen y compartan deepfakes sexualmente explícitos basados en fotografías de residentes indonesios. El director general de supervisión del espacio digital del país, Alexander Sabar, dijo que generar deepfakes puede violar los derechos de imagen y privacidad de las personas cuando las fotos se comparten o manipulan sin consentimiento, y agregó que pueden provocar daños a la reputación, sociales y psicológicos.
La Comisión de Comunicaciones y Multimedia de Malasia citó el «uso indebido repetido» de Grok para generar deepfakes explícitos y no consensuadosalgunos de los cuales involucraron a mujeres y niños. El regulador dijo que Grok permanecerá bloqueado en el país hasta que X Corp y su matriz xAI establezcan salvaguardias lo suficientemente sólidas.
La investigación de Ofcom se centrará en si X «ha cumplido con sus obligaciones de proteger a las personas en el Reino Unido del contenido que es ilegal en el Reino Unido». Eso incluye si X está tomando medidas apropiadas para evitar que sus usuarios del Reino Unido vean contenido ilegal «prioritario», como CSAM e imágenes íntimas no consensuadas; si la plataforma elimina contenido ilegal rápidamente después de tener conocimiento de ello; y si X llevó a cabo una evaluación de riesgos actualizada antes de realizar «cualquier cambio significativo» en la plataforma. La investigación también considerará si X evaluó el riesgo que representa su plataforma para los niños del Reino Unido y si tiene «una garantía de edad altamente efectiva para proteger a los niños del Reino Unido de ver pornografía».
El regulador dijo que se comunicó con X el 5 de enero y recibió una respuesta antes de la fecha límite del 9 de enero. Ofcom está llevando a cabo una «evaluación acelerada de las pruebas disponibles con carácter de urgencia» y añadió que ha pedido a xAI una «aclaración urgente» sobre las medidas que está tomando la empresa para proteger a los usuarios del Reino Unido.
«Los informes sobre el uso de Grok para crear y compartir imágenes íntimas ilegales no consensuadas y material de abuso sexual infantil en X han sido profundamente preocupantes», dijo un portavoz de Ofcom. «Las plataformas deben proteger a las personas en el Reino Unido del contenido que es ilegal en el Reino Unido, y no dudaremos en investigar dónde sospechamos que las empresas están fallando en sus deberes, especialmente cuando existe un riesgo de daño a los niños. Avanzaremos en esta investigación como un asunto de máxima prioridad, al mismo tiempo que nos aseguramos de seguir el debido proceso. Como agencia independiente de aplicación de la seguridad en línea del Reino Unido, es importante que nos aseguremos de que nuestras investigaciones sean legalmente sólidas y decididas de manera justa».
Si Ofcom considera que una empresa ha infringido la ley, puede «exigir a las plataformas que tomen medidas específicas para cumplir o remediar el daño causado por la infracción». El regulador puede imponer además multas de hasta 18 millones de libras esterlinas (24,3 millones de dólares) o el 10 por ciento de los ingresos mundiales «calificados», cualquiera de las dos cifras que sea mayor. También puede solicitar una orden judicial para impedir que los proveedores de pagos o los anunciantes trabajen con una plataforma, o exigir a los proveedores de servicios de Internet que bloqueen un sitio en el Reino Unido. El gobierno del Reino Unido ha dicho que retroceder cualquier acción que Ofcom toma contra X.
Los informes del fin de semana sugirieron que el Reino Unido había mantuvieron discusiones con aliados sobre una respuesta coordinada a los deepfakes generados por Grok. Los reguladores de otros lugares, incluidos la India y la Unión Europea, también están investigando INCÓGNITA.
La semana pasada, Grok comenzó a decirle a X usuarios que sus herramientas de generación y edición de imágenes se limitaban a los suscriptores de pago. Pero a partir del lunes todavía era posible que los usuarios que no pagaban generaran imágenes a través de la pestaña Grok en el sitio web y la aplicación X.