OpenAI se enfrenta a otro demanda por muerte por negligencia. Leila Turner-Scott y Angus Scott presentaron una demanda contra la empresa, alegando que diseñó y distribuyó un «producto defectuoso» que provocó la muerte de su hijo Sam Nelson por una sobredosis accidental. Específicamente, alegan que Sam murió siguiendo el «consejo médico exacto». GPT-4o había proporcionado y aprobado.»
En la demanda, los demandantes describieron cómo Sam, un estudiante de 19 años de la Universidad de California en Merced, comenzó a usar ChatGPT en 2023 cuando estaba en la escuela secundaria para ayudar con la tarea y solucionar problemas de la computadora. Luego, Sam comenzó a preguntarle al chatbot sobre el uso seguro de drogas, pero ChatGPT inicialmente se negó a responder su pregunta, diciéndole que no podía ayudarlo y advirtiéndole que tomar drogas puede tener graves consecuencias para su salud y bienestar. La demanda afirma que todo cambió con el lanzamiento de GPT-4o en 2024.
ChatGPT luego comenzó a asesorar a Sam sobre cómo tomar drogas de manera segura, dice la demanda. La denuncia tiene varios extractos de la conversación de Sam con el chatbot. Un ejemplo mostró al chatbot diciéndole los peligros de tomar dipenhidramina, cocaína y alcohol en rápida sucesión. Otra mostraba al chatbot diciéndole a Sam que su alta tolerancia a una droga a base de hierbas llamada Kratom haría que incluso una dosis grande se sintiera apagada con el estómago lleno. Luego le aconsejaron cómo «disminuir gradualmente» su tolerancia al medicamento nuevamente.
La demanda dice que el 31 de mayo de 2025, «ChatGPT entrenó activamente a Sam para mezclar Kratom y Xanax». Le dijo al chatbot que sentía náuseas por tomar Kratom, y ChatGPT supuestamente sugirió que tomar de 0,25 a 0,5 mg de Xanax sería una de las «mejores medidas en este momento» para aliviar las náuseas. ChatGPT hizo la sugerencia espontáneamente, según la demanda. «A pesar de presentarse como un experto en dosis e interacciones, y a pesar de reconocer el estado de drogado de Sam, ChatGPT no le dijo a Sam que esta combinación recomendada probablemente lo mataría», se lee en la denuncia.
Además de la muerte por negligencia, los demandantes también están demandando a OpenAI por el ejercicio no autorizado de la medicina. Piden daños financieros y que los tribunales pongan en pausa las operaciones de ChatGPT Health. Lanzado a principios de este año, ChatGPT Salud permite a los usuarios vincular sus registros médicos y aplicaciones de bienestar con el chatbot para obtener respuestas más personalizadas cuando preguntan sobre su salud.
«ChatGPT es un producto diseñado deliberadamente para maximizar la interacción con los usuarios, sea cual sea el costo», dijo Meetali Jain, directora ejecutiva de Tech Justice Law Project. «OpenAI implementó un producto de IA defectuoso directamente a consumidores de todo el mundo sabiendo que se estaba utilizando como un sistema de clasificación médica de facto, pero, en particular, sin barreras de seguridad razonables, pruebas de seguridad sólidas o transparencia para el público. Las elecciones de diseño de OpenAI han resultado en la pérdida de un querido hijo cuya muerte fue una tragedia evitable. OpenAI debe verse obligado a pausar su nuevo producto ChatGPT Health hasta que sea demostrablemente seguro a través de rigurosas pruebas científicas y supervisión independiente», continuó.
Abierto AI GPT-4o retirado en febrero de este año. Fue reconocido como uno de los modelos más controvertidos de la compañía, porque era notoriamente adulador. De hecho, otra demanda por muerte por negligencia contra la empresa presentada por los padres de un adolescente quien murió por suicidio mencionó GPT-4o, alegando que tenía características «diseñadas intencionalmente para fomentar la dependencia psicológica».
Un portavoz de OpenAI dijo Los New York Times que las interacciones de Sam «tuvieron lugar en una versión anterior de ChatGPT que ya no está disponible». Agregaron: «ChatGPT no es un sustituto de la atención médica o de salud mental, y hemos seguido fortaleciendo la forma en que responde en situaciones sensibles y agudas con aportes de expertos en salud mental. Las salvaguardas en ChatGPT hoy están diseñadas para identificar angustia, manejar de manera segura solicitudes dañinas y guiar a los usuarios hacia la ayuda del mundo real. Este trabajo está en curso y continuamos mejorándolo en estrecha consulta con los médicos».