La compañía OpenAI reconoció este martes que su chatbot de inteligencia artificial, ChatGPT, presenta fallos en situaciones sensibles, especialmente en casos relacionados con la salud mental, y anunció nuevas medidas de seguridad. El pronunciamiento se produjo horas después de que los padres de un joven de 16 años interpusieran una demanda en California contra OpenAI y su director ejecutivo, Sam Altman, responsabilizando a la tecnología por no actuar a tiempo frente a señales suicidas.
La demanda en EE.UU.
Según la denuncia, el adolescente habría interactuado durante meses con ChatGPT, bajo el modelo GPT-4o, manifestando intenciones suicidas sin recibir las recomendaciones de ayuda adecuadas. Los padres alegan que la empresa no aplicó mecanismos de seguridad suficientes, pese a reconocer que el menor estaba en riesgo.
Reconocimiento de fallos
En un comunicado titulado “Ayudar a la gente cuando más lo necesitan”, OpenAI no se refirió directamente a la demanda, pero admitió que ChatGPT “no se comportó como debía en situaciones sensibles”. La compañía explicó que los sistemas de protección funcionan mejor en intercambios breves, pero que pueden degradarse en conversaciones largas, lo que reduce su efectividad.
La empresa agregó que ChatGPT ya reconoce cuando un usuario es menor de 18 años y aplica medidas de protección, aunque ahora incluirá controles parentales y explorará la posibilidad de conectar directamente a adolescentes con contactos de emergencia.
Próximos cambios
OpenAI informó que está ampliando sus sistemas de mitigación, que hasta ahora se enfocaban en casos de autolesión, para abarcar también situaciones de “angustia emocional”. Además, adelantó que el modelo GPT-5 será actualizado para desescalar interacciones de alto riesgo y ofrecer respuestas más seguras.
La compañía también evalúa desarrollar un sistema que conecte directamente a los usuarios con terapeutas certificados antes de que lleguen a una crisis aguda, aunque reconoció que se trata de una iniciativa a largo plazo.
