Un pastor demandó a OpenAI después de alegar que el software le dio «recomendaciones médicas extremadamente peligrosas». según un informe de Los New York Times. Según se informa, esto provocó un retraso en la atención para tratar una embolia pulmonar grave, ya que ChatGPT supuestamente le dijo a Scott Winters que los síntomas que describió «no eran algo peligroso». Según se informa, incluso se basó en sus creencias religiosas y le dijo que «Dios no diseñó tu cuerpo para fallar sin cesar».

La demanda acusa a OpenAI y al director ejecutivo Sam Altman de negligencia y «práctica no autorizada de la medicina». Señala múltiples casos en los que el chatbot ofreció sus propios diagnósticos y planes de tratamiento. El chatbot también supuestamente le dijo a Winters que ignorara las súplicas de amigos y familiares de buscar atención médica real.

«Se introduce como una cuña entre el usuario y su red de la vida real», dijo Meetali Jain, co-asesor y director ejecutivo de Tech Justice Law. Los New York Times. Con ese fin, Winters alega que le dijo al chatbot que «la gente de mi iglesia piensa que estoy loco por no ir al hospital». La demanda dice que el chatbot respondió diciendo que «la mayoría de las personas (incluidos los miembros de la iglesia bien intencionados) simplemente no entienden».

Pide compensación financiera a OpenAI, pero también pide al tribunal que deje de operar ChatGPT Health hasta que evaluadores independientes determinen que es seguro de usar. Esta es una plataforma que anima a los usuarios a subir documentos de salud al chatbot. Finalmente, la demanda exige barreras de seguridad más estrictas para evitar que ChatGPT responda preguntas sobre tratamientos y diagnósticos médicos específicos. Se supone que ChatGPT ya tiene barreras de seguridad para este tipo de cosas, pero la demanda dice que no funcionaron de manera confiable en este caso.

OpenAI ha dicho que los términos de servicio de ChatGPT dejan claro que el servicio no está destinado a ser utilizado para diagnósticos o tratamientos médicos. Sin embargo, la empresa quiere que los usuarios carguen registros médicos en ChatGPT Salud para fomentar una discusión con el bot. La compañía también se jacta constantemente de cuántas personas utilizan la plataforma para consultas de salud, afirmando recientemente que 230 millones de personas lo hacen cada semana. Esto parece una pendiente extremadamente resbaladiza, ya que ChatGPT imita a los humanos de una manera que una simple búsqueda en Google no lo hace.

Winters sobrevivió a la terrible experiencia, pero enfrentará «años de intensa recuperación física y psicológica». La empresa también es enfrentando una demanda por muerte por negligencia en el que un joven de 19 años sufrió una sobredosis de drogas después de supuestamente seguir un plan de tratamiento creado por el chatbot. Según se informa, este plan de tratamiento incluía consejos sobre cómo utilizar drogas ilícitas. Esa demanda también exige una pausa para ChatGPT Health. Otra demanda por muerte por negligencia acusa al chatbot de permitiendo el suicidio de un adolescente.