Un grupo de empleados actuales y anteriores de empresas líderes en inteligencia artificial como OpenAI, Google DeepMind y Anthropic han firmado un carta abierta pidiendo mayor transparencia y protección contra represalias para quienes hablan sobre las posibles preocupaciones de la IA. «Mientras no exista una supervisión gubernamental efectiva de estas corporaciones, los empleados actuales y anteriores se encuentran entre las pocas personas que pueden exigirles cuentas ante el público», dice la carta, publicada el martes. «Sin embargo, los amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que tal vez no estén abordando estos problemas».

La carta llega apenas un par de semanas después de una voz investigación reveló que OpenAI había intentado amordazar a los empleados que habían salido recientemente obligándolos a elegir entre firmar un acuerdo agresivo de no menosprecio o arriesgarse a perder su capital adquirido en la empresa. Después del informe, el director ejecutivo de OpenAI, Sam Altman dicho que se había sentido realmente avergonzado» por la disposición y afirmó que se había eliminado de la documentación de salida reciente, aunque no está claro si sigue en vigor para algunos empleados.

Los 13 firmantes incluyen a los ex empleados de OpenAI Jacob Hinton, William Saunders y Daniel Kokotajlo. Kokotajlo dicho que renunció a la empresa después de perder la confianza en que construiría de manera responsable inteligencia artificial general, un término para sistemas de inteligencia artificial que son tan inteligentes o más inteligentes que los humanos. La carta, que fue respaldada por destacados expertos en IA Geoffrey Hinton, Yoshua Bengio y Stuart Russell, expresa serias preocupaciones por la falta de una supervisión gubernamental efectiva de la IA y los incentivos financieros que impulsan a los gigantes tecnológicos a invertir en esta tecnología. Los autores advierten que la búsqueda desenfrenada de potentes sistemas de IA podría conducir a la difusión de información errónea, a la exacerbación de la desigualdad e incluso a la pérdida del control humano sobre los sistemas autónomos, lo que podría provocar la extinción humana.

«Hay muchas cosas que no entendemos sobre cómo funcionan estos sistemas y si permanecerán alineados con los intereses humanos a medida que se vuelvan más inteligentes y posiblemente superen la inteligencia humana en todas las áreas». escribió Kokotajlo sobre X. “Mientras tanto, hay poca o ninguna supervisión sobre esta tecnología. En lugar de ello, confiamos en que las empresas que los construyen puedan autogobernarse, incluso cuando los motivos de lucro y el entusiasmo por la tecnología los empujan a «moverse rápido y romper cosas». Silenciar a los investigadores y hacerles temer represalias es peligroso cuando actualmente somos unas de las únicas personas en condiciones de advertir al público”.

OpenAI, Google y Anthropic no respondieron de inmediato a la solicitud de comentarios de …. en un declaración enviado a Bloomberg, un portavoz de OpenAI dijo que la compañía está orgullosa de su «historial proporcionando los sistemas de IA más capaces y seguros» y cree en su «enfoque científico para abordar el riesgo». Añadió: «Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo».

Los firmantes piden a las empresas de IA que se comprometan con cuatro principios clave:

• Abstenerse de tomar represalias contra los empleados que expresen preocupaciones sobre la seguridad.

• Apoyar un sistema anónimo para que los denunciantes alerten al público y a los reguladores sobre los riesgos.

• Permitir una cultura de crítica abierta

• Y evitar acuerdos de no menosprecio o de confidencialidad que restrinjan a los empleados hablar abiertamente

La carta llega en medio de un creciente escrutinio de las prácticas de OpenAI, incluida la desbandada de su equipo de seguridad de «superalineación» y el partida de figuras clave como el cofundador Ilya Sutskever y Jan Leike, quienes criticado la prioridad de la empresa a los «productos brillantes» sobre la seguridad.