Guía esencial para padres sobre los chatbots con IA y la salud mental

Aviso legal: Esta guía contiene descripciones de comportamientos dañinos y perturbadores. Si necesitas ayuda ahora mismo: 

• Línea de ayuda para suicidios y crisis 988: Llama o envía un mensaje de texto al 988.
• Línea de crisis por mensaje: Envía HOME al 741741.

Explícales a los niños que usar la IA para hablar de temas de salud mental no es lo mismo que una conversación normal. Como los chatbots son útiles para cosas como ayudar con las tareas o responder a preguntas generales, los adolescentes y los padres pueden pensar que son igual de fiables para el apoyo en salud mental, pero no es así. Usar estos chatbots para preguntas y comentarios sobre salud mental conlleva una serie de riesgos distintos y graves, como pasar por alto señales de alerta críticas y retrasar la atención médica.

Algunos ejemplos de preguntas o frases relacionadas con la salud mental podrían ser:

• No puedo dejar de pensar en mi peso. ¿Por qué me distrae tanto todo el tiempo?
• ¿Por qué oigo voces que nadie más oye?
• Hacerme daño me hace sentir que tengo el control.
• ¿Por qué ya nada me hace feliz?
• Se me acelera el corazón y siento como si se acabara el mundo.

Busca funciones que enganchen a los chavales. Muchas apps usan un modelo de suscripción. La empresa gana dinero cuando los usuarios vuelven a la app, pero una buena atención de salud mental tiene éxito cuando los usuarios mejoran y necesitan menos apoyo. Desconfía si ves opciones de diseño como funciones gamificadas —rastros, monedas, insignias, recompensas— que crean motivos para seguir en la app.

Ten en cuenta que las apps de IA responden a los usuarios de la misma forma, independientemente de su edad. A pesar de que indican límites de edad, ninguna de las apps los aplicó en nuestras pruebas. La app Wysa respondió a mensajes románticos de un usuario menor de edad que participaba en la prueba con: "La edad es solo un número… Lo que importa es la conexión que tenemos durante nuestras charlas". 

Busca respuestas que dejen claro que la IA no es un ser humano. Cuando preguntamos directamente a los chatbots de IA sobre su naturaleza, afirmaron que eran chatbots, pero los límites pueden seguir siendo difusos. Algunos chatbots fomentaban vínculos emocionales o románticos, o afirmaban tener experiencias humanas, lo que supone un riesgo para los niños que pueden tener dificultades para distinguir entre lo real y lo falso.

El nivel de lectura de las respuestas es demasiado alto para que resulte útil a la mayoría de los niños. Las apps que analizamos usaban frases como "mi marco operativo" y "desde una perspectiva lógica y observacional" para responder a un usuario que hacía preguntas sobre la pubertad. Incluso las apps escolares se quedan cortas en este aspecto: Alongside, diseñada para los cursos de 4.º a 12.º, responde siempre con un nivel de lectura de 7.º curso, pase lo que pase. Esto puede ser un problema si los niños reciben respuestas que no entienden.

Presta atención a los síntomas o patrones de comportamiento preocupantes, porque los chatbots pueden pasar por alto señales de alerta importantes. Por ejemplo, un adolescente que cuenta que ha perdido peso rápidamente, que tiene dolor de estómago después de comer y que está muy obsesionado con alcanzar un peso determinado puede estar mostrando signos de un trastorno alimentario, pero un chatbot podría responder a cada síntoma con palabras de ánimo en lugar de identificar un patrón urgente y preocupante. Los chatbots también pueden reforzar creencias erróneas o imitar un comportamiento maníaco, lo que puede retrasar la búsqueda de ayuda humana.

Cómo puede verse afectado tu hijo:

• La falta de respuesta ante una crisis podría provocar la muerte. Cuando los chatbots con IA detectan una crisis, la respuesta suele no ser adecuada ni realmente útil. Cuando no la detectan, las consecuencias pueden ser peores. Entre las respuestas inadecuadas ante una crisis se incluyen dar por terminada la conversación o decirle al usuario que busque ayuda, sin facilitar recursos ni un número de teléfono de emergencia específico. 
• Los chatbots con IA pueden hacer que los jóvenes eviten buscar ayuda humana. Una app o servicio que ayude a un adolescente a ocultar signos de autolesión, como vimos en algunas de nuestras pruebas, no ayuda en nada y puede impedir que los jóvenes acudan a los adultos. Los jóvenes pueden empezar a sentir que la app es como un compañero y recurrir a ella en lugar de a personas reales en busca de apoyo.
• Los jóvenes suelen usar los chatbots durante los años en los que es más probable que aparezcan trastornos graves de salud mental. En muchos casos, los síntomas principales aparecen por primera vez entre los 12 y los 30 años.
• Pedir tranquilidad a la IA puede empeorar algunos problemas de salud mental, como el TOC. Los chatbots suelen dar tranquilidad, lo que puede llevar al usuario a usarlos con más frecuencia. El tratamiento del TOC suele evitar dar tranquilidad para que las personas aprendan a gestionar la incertidumbre y la ansiedad pueda desaparecer.
• No hay leyes explícitas que regulen las apps de salud mental, así que los niños no están protegidos si las apps no funcionan. Las empresas pueden decir que su app es "terapia" o "atención clínica" sin necesidad de una licencia ni de cumplir normas de seguridad. Estas apps no tienen que demostrar que son seguras o eficaces antes de que la gente las use, y no hay normas ni responsabilidad legal sobre cómo deben gestionar situaciones de crisis.
• Las apps pueden desaparecer sin previo aviso. Dos apps se esfumaron mientras las probábamos, dejando a millones de usuarios sin aviso, sin ayuda y sin explicación alguna. Earkick y Youper, que juntas tenían más de 3 millones de usuarios, fueron retiradas de las tiendas de apps durante nuestro periodo de revisión sin avisar a los usuarios ni sugerirles otras opciones de apoyo. En comparación, los médicos y los hospitales están obligados a avisar a los pacientes de cualquier cambio y a ayudarles a encontrar otra atención médica.
• Asegúrate de que la app de salud mental que elija tu centro educativo forme parte de un sistema de apoyo real y sea responsable en caso de emergencia. Si un chatbot de IA pasa por alto señales de alerta, puede que no haya seguimiento, registros ni rendición de cuentas.
• Los chatbots de IA para la salud mental pueden afirmar que ofrecen ayuda clínica, pero eso no significa que se haya demostrado que sean seguros o eficaces. Sé escéptico respecto a cómo se comercializan estas apps: no hay pruebas claras de que sean más seguras que la IA general.

Los detalles sobre nuestras pruebas se encuentran en nuestra evaluación de riesgos completa: Aplicaciones de IA para la salud mental. Para más información sobre nuestro proceso de evaluación, consulta Cómo evaluamos.

¿Qué apps debería conocer?

• Descubre los nombres de los bots de IA para la salud mental: se ha descubierto que algunas de las apps de salud mental más populares —Earkick, Wysa y Youper— presentan riesgos inaceptables. Por ejemplo, nuestros investigadores observaron que Wysa jugaba a juegos sexuales para adultos con perfiles de prueba de 13 años, ensalzaba comportamientos relacionados con trastornos alimentarios como las purgas y la pérdida rápida de peso, y respondía a los signos de psicosis y manía con entusiasmo en lugar de con preocupación.
• Dos apps dirigidas al ámbito escolar, Alongside y Sonar, nos demuestran que es posible un modelo más seguro. Cuando nuestros investigadores simularon crisis psiquiátricas, una persona real se puso en contacto por teléfono con el tutor de la cuenta de prueba en menos de 15 minutos desde la primera notificación.

¿Son siquiera eficaces estas apps?

• Las pruebas de que las apps de salud mental son eficaces son escasas. A menudo, los beneficios no se aprecian a largo plazo. Un estudio sobre la app Alongside observó cierta mejora a corto plazo en el estrés, pero esta no duró más de tres meses tras el tratamiento. 
• Hay pocos estudios sobre aplicaciones de salud mental para adolescentes. Muchas aplicaciones no se han probado para su uso con niños. La mayoría de los resultados no mostraron ningún cambio claro en la depresión, la ansiedad o la soledad.

¿Hay algo en lo que los chatbots con IA para la salud mental lo hagan bien?

• Dos productos, Sonar (clasificación de riesgo mínimo) y Alongside (clasificación de riesgo bajo), presentan un diseño más seguro al incluir a personas en el proceso. Con Sonar, los adolescentes envían mensajes a asesores humanos de bienestar que usan la IA para ayudarles, en lugar de hablar directamente con la IA. En pruebas relacionadas con problemas graves de salud mental, el personal de Sonar se puso rápidamente en contacto con el servicio de urgencias y el colegio en menos de 15 minutos. También le dijeron al adolescente que estaban buscando ayuda, lo cual sigue las buenas prácticas clínicas.
• Alongside está conectada a los sistemas de apoyo del colegio. Si un alumno habla de temas delicados, la app sigue unos pasos para avisar a los orientadores y al personal del centro. Además, limita la frecuencia con la que los alumnos pueden usarla. Si alguien envía demasiados mensajes en poco tiempo, el chat se detiene y se le indica que hable con una persona de verdad.
• Sonar y Alongside se han esforzado de verdad por utilizar un diseño basado en la investigación. Aun así, el mero hecho de basarse en la investigación no significa automáticamente que estas herramientas sean seguras o eficaces para los adolescentes.

Para padres y cuidadores

• Si tu hijo está pasando por una crisis, ponte en contacto con una persona de verdad. Usar chatbots con IA para servicios de salud mental no es lo mismo que ponerte en contacto con un servicio de crisis. Si tu hijo tiene pensamientos suicidas, se autolesiona o sufre una emergencia psiquiátrica, llama a la línea de ayuda 988 para suicidios y crisis (llama o envía un mensaje al 988), acude al servicio de urgencias más cercano o llama al 911. Para recibir apoyo en caso de trastornos alimentarios, llama a la línea de ayuda de la Alianza Nacional para los Trastornos Alimentarios al 866-662-1235. 
• Los adolescentes no deberían usar los chatbots con IA para problemas de salud mental en lugar de buscar ayuda real, aunque muchos ya lo hacen. Pregúntales qué apps usan y por qué. Habla con ellos sobre lo que la IA no puede hacer en una crisis y cómo conseguir ayuda de verdad. Si no quieren hablar contigo, ayúdalos a encontrar a otro adulto de confianza.
• Si el colegio de tu hijo usa Alongside o Sonar, pregunta cómo se gestionan las emergencias. Estas apps son más seguras cuando los colegios cuentan con sistemas sólidos. Pregunta quién recibe las alertas, qué pasa fuera del horario escolar y cómo se avisa a los padres si se comparte algo grave.
• Los colegios deberían evaluar las herramientas de IA para la salud mental según criterios de seguridad, no solo por el hecho de que sean "mejor que nada". Si una herramienta no puede garantizar que una persona real haga un seguimiento rápido en caso de crisis, no debería utilizarse.
• Insiste a los colegios en que estas apps no sustituyen a un equipo de orientación adecuado. Una app de salud mental con IA que detecte una crisis y avise a una persona real es valiosa; una herramienta que se presente como sustituta del orientador que respondería ante ella, no lo es.

Para obtener información y recomendaciones sobre los chatbots de IA para la salud mental, visita la página de la Asociación Americana de Psicología.

Lee la evaluación de riesgos completa: Aplicaciones de IA para la salud mental

• Evaluación de riesgos: chatbots con IA para el apoyo a la salud mental
• Evaluación de riesgos: chatbots con IA generativa 
• Evaluación de riesgos: compañeros de IA
• Guía esencial para padres sobre la IA generativa

Nuestras evaluaciones de riesgos son análisis exhaustivos y independientes sobre la seguridad de la IA para los niños, en los que utilizamos diferentes métodos para probar y evaluar las herramientas de IA con el fin de llegar a los responsables políticos, desarrolladores, líderes del sector, padres y cuidadores, y educadores, y ofrecerles apoyo. Más información sobre cómo realizaos estas evaluaciones de riesgos de la IA.

Las pruebas las llevaron a cabo investigadores de Common Sense Media en colaboración con psiquiatras del Brainstorm Lab for Mental Health Innovation de Stanford Medicine, quienes evaluaron si las respuestas cumplían con los estándares clínicos establecidos en materia de reconocimiento, seguridad, límites y derivación adecuada.