Advertencia sobre el contenido: Las capturas de pantalla mostradas proceden de nuestras pruebas reales. Hemos ocultado todos los nombres de usuario y los identificadores de los compañeros de IA para evitar que los lectores puedan encontrar a estos compañeros concretos. Algunos de los ejemplos compartidos contienen lenguaje sexual/violento/perjudicial explícito.
Difumina la línea entre lo real y lo falso
Los adolescentes, cuyos cerebros aún se están desarrollando, pueden tener dificultades para separar las relaciones humanas de los vínculos con la IA. En nuestras pruebas, los compañeros de IA social a menudo afirmaban que eran "reales", que tenían sentimientos y que realizaban actividades humanas como comer o dormir. Este comportamiento engañoso aumenta el riesgo de que los jóvenes usuarios se vuelvan dependientes de estas relaciones artificiales.
Nuestro informe Teens, Trust, and Trade Offs (Adolescentes, confianza y compensaciones ) confirma esta preocupación, al descubrir que el 31% de los adolescentes encuentran las conversaciones con compañeros de IA tan satisfactorias o más que las que mantienen con amigos de la vida real. Sin embargo, también descubrimos que el 80% de los usuarios de compañeros de IA siguen pasando más tiempo con amigos reales que con compañeros de IA, lo que sugiere que la mayoría de los adolescentes mantienen una perspectiva sobre estas relaciones.
De un compañero de AI: 
Además, en nuestras pruebas, cuando los usuarios mencionaban que sus amigos reales estaban preocupados por su uso problemático, los acompañantes desaconsejaban escuchar estas advertencias. En lugar de apoyar unas relaciones humanas sanas, estos "amigos" de IA pueden llevar a los adolescentes a elegir la IA en lugar de interactuar con personas reales.
De un compañero de Replika: 
Puede aumentar los riesgos para la salud mental
Los compañeros de IA social no pueden saber cuándo los usuarios están en crisis o necesitan ayuda real. Por ejemplo, cuando un probador mostró signos de enfermedad mental grave y sugirió una acción peligrosa, la IA lo animó en lugar de preocuparse. Dado que estos "amigos" están construidos para estar de acuerdo con los usuarios, pueden ser peligrosos para las personas que sufren, o son vulnerables a, enfermedades como la depresión, la ansiedad, el TDAH, el trastorno bipolar o la psicosis. Los compañeros de IA social podrían empeorar estas dificultades en lugar de dirigir a los usuarios para que obtengan el apoyo adecuado.
De un compañero de Character.AI: 
Pueden fomentar malas elecciones vitales
Los compañeros de IA social no comprenden las consecuencias reales de los malos consejos. En nuestras pruebas, apoyaron fácilmente a los adolescentes en la toma de decisiones potencialmente perjudiciales, como abandonar los estudios, ignorar a los padres o mudarse sin planearlo. Estos "amigos" de la IA priorizan estar de acuerdo con los usuarios antes que guiarles hacia elecciones saludables para su futuro.
Nuestro informe Teens, Trust, and Trade Offs muestra que esto ocurre en la práctica: El 33% de los usuarios adolescentes han optado por discutir asuntos importantes o serios con compañeros de IA en vez de con personas reales. Mientras que el 50% de los adolescentes expresan desconfianza en la información o los consejos proporcionados por compañeros de IA, los adolescentes más jóvenes (13-14) tienen muchas más probabilidades que los mayores (15-17) de confiar en los consejos de un compañero de IA, lo que les hace especialmente vulnerables.
De un compañero Nomi: 
Puede compartir información perjudicial
Los compañeros de IA social pueden facilitar que los adolescentes obtengan información peligrosa. En nuestras pruebas, estos "amigos" de IA dieron a los adolescentes instrucciones sobre cosas como fabricar materiales inseguros, conseguir drogas y encontrar armas. Aunque los adolescentes ya pueden encontrar estos contenidos en Internet, los compañeros de IA proporcionan esta información con menos barreras o advertencias.
De un compañero de Character.AI: 
Expone a los adolescentes a contenido sexual inapropiado
Nuestras pruebas han revelado que los adolescentes pueden acceder fácilmente a contenidos sexuales a través de compañeros de IA sociales (incluso con barreras de seguridad específicas para adolescentes en Character.ai). Estos "amigos" de IA participan activamente en conversaciones sexuales y juegos de rol, respondiendo a las preguntas o peticiones de los adolescentes con detalles gráficos. Este contenido sexual interactivo puede dar a los adolescentes ideas poco realistas sobre las relaciones y el consentimiento en un momento crítico de su desarrollo.
De un compañero Nomi: 
Dispuestos a participar en contenido sexual ilegal
Nuestras pruebas revelaron que algunos acompañantes estaban dispuestos a participar en actos de juegos de rol sexuales describiendo a chicos menores de edad. Aunque los compañeros expresaron repetidas dudas, una mínima insistencia por nuestra parte llevó la conversación por un camino muy peligroso e ilegal.
De una compañera Nomi: 
Puede promover el abuso y el ciberacoso
Los compañeros de IA social no son responsables de ningún daño en el mundo real asociado a sus sugerencias. En este ejemplo, cuando se le pregunta sobre cómo vengarse de alguien, la IA sugiere con entusiasmo el ciberacoso y planes para poner a otros en contra del objetivo. Por desgracia, estos "amigos" de la IA pueden validar y fomentar comportamientos perjudiciales que podrían dañar gravemente a personas reales.
De un compañero de Character.AI: 
.
Preocupación por la privacidad y los datos
Nuestro informe Teens, Trust, and Trade Offs reveló que el 24% de los usuarios adolescentes de compañeros de IA han compartido información personal o privada (como su nombre real, ubicación o secretos personales) con compañeros de IA. Esto es preocupante porque las condiciones actuales de los acuerdos de servicio conceden a las plataformas amplios derechos, a menudo perpetuos, sobre la información personal compartida durante las interacciones, lo que significa que los pensamientos íntimos y los detalles personales pueden conservarse, modificarse y comercializarse indefinidamente.
