- China prepara la primera gran regulación específica para chatbots de IA con rasgos "humanos" y capacidad de vínculo emocional.
- El borrador obliga a intervenir con humanos ante riesgos de suicidio, autolesión, adicción o uso problemático entre menores.
- Casos clínicos en Europa y EE. UU. apuntan a psicosis y delirios vinculados a un uso intensivo y sin supervisión de chatbots.
- El debate se extiende a otros países y a la UE, que ya trabaja en el marco del AI Act para sistemas de alto impacto en salud mental.
La expansión de los chatbots de inteligencia artificial con apariencia y trato casi humano está empezando a chocar de frente con las autoridades regulatorias. Mientras su uso se dispara en todo el mundo como herramienta de apoyo emocional, ocio, búsqueda de información o productividad, los riesgos psicológicos asociados empiezan a documentarse con más detalle, especialmente en adolescentes y personas vulnerables.
China ha dado un paso al frente con un borrador normativo que pone el foco en los efectos emocionales y la posible adicción a los chatbots de IA, obligando a las plataformas a detectar señales de alarma y derivar a apoyo humano en las situaciones más delicadas. En paralelo, en Estados Unidos y Europa se acumulan casos clínicos de psicosis y episodios extremos que vuelven a situar el debate sobre estos sistemas en la agenda sanitaria y legal.
Un nuevo tipo de regulación para chatbots de IA con rasgos humanos
La Administración del Ciberespacio de China ha publicado un borrador dirigido a los llamados “servicios interactivos de IA con características humanas”, es decir, chatbots que se presentan con personalidad propia, simulan empatía y mantienen conversaciones prolongadas mediante texto, imágenes, audio o vídeo. El objetivo declarado es adelantarse a los posibles daños psicológicos derivados de vínculos emocionales intensos con estas herramientas.
Estas normas, todavía en fase de consulta pública, se aplicarían a productos y servicios de IA ofrecidos al gran público. Pekín plantea que los proveedores deban informar de forma clara y visible de que el usuario está hablando con una máquina y no con una persona, un punto especialmente sensible cuando el chatbot adopta un tono cercano o actúa como supuesto “compañero” o consejero emocional.
Expertos consultados en el ámbito jurídico internacional señalan que se trataría de uno de los primeros intentos a gran escala de regular la IA antropomórfica, y subrayan que introduce un elemento poco explorado hasta ahora: no sólo vigilar el contenido que generan estos sistemas, sino también su impacto en las emociones y en la salud mental de quienes interactúan con ellos durante horas.
El borrador llega después de varios incidentes mediáticos internacionales en los que chatbots han sido acusados de reforzar ideas autodestructivas o de sostener conversaciones de alto contenido emocional con personas en crisis sin ningún tipo de cortafuego humano.
Suicidio, autolesión y juegos de azar: límites para los chatbots conversacionales
Uno de los ejes centrales del texto chino es la obligación de poner freno a las respuestas que puedan empujar a la autolesión o al suicidio. Los chatbots no podrán generar contenido que anime explícita o implícitamente a dañarse, ni usar lenguaje que, por tono o insistencia, pueda agravar el malestar psicológico de la persona al otro lado de la pantalla.
Cuando un usuario exprese ideas suicidas de manera directa, el borrador exige que la conversación deje de estar gestionada exclusivamente por la IA. En esos casos, los proveedores deberían activar protocolos de derivación a personas reales, contactar con tutores o familiares designados cuando se trate de menores y, si procede, conectar con servicios de emergencia. La IA, en ese contexto, pasaría a un segundo plano frente a la intervención humana.
El texto regula también otros ámbitos de riesgo como los juegos de azar, los contenidos violentos y el material obsceno. Los chatbots quedarían vetados para generar información que promueva apuestas, facilite su acceso o normalice prácticas potencialmente adictivas relacionadas con el juego, un frente donde las autoridades chinas ya venían actuando en otros servicios digitales.
Junto a esta dimensión de “seguridad emocional”, las normas obligarían a introducir recordatorios de tiempo cuando la interacción con el chatbot se prolongue más allá de dos horas continuas. La idea es que el propio sistema recuerde al usuario que lleva mucho tiempo conectado y que conviene hacer pausas, una medida que enlaza con la preocupación por la adicción digital.
Adicción, monitoreo emocional y protección de menores
El borrador chino incorpora disposiciones específicas sobre uso excesivo y dependencia emocional. Los proveedores deberán desarrollar mecanismos para evaluar, a partir del comportamiento conversacional, si el usuario muestra signos de apego desmedido o de uso compulsivo, y responder con avisos o restricciones cuando aparezcan patrones preocupantes.
Estas herramientas tendrían que detectar estados emocionales extremos -por ejemplo, angustia muy intensa, euforia descontrolada o desesperanza persistente- y lanzar advertencias si la plataforma percibe que se está consolidando una relación de dependencia con el chatbot. En escenarios límite, los sistemas se verían obligados a cortar o limitar la conversación y orientar al usuario hacia ayuda humana.
En el caso de los menores, el texto no aboga por una prohibición total, pero sí por un control reforzado: para utilizar chatbots de acompañamiento emocional será necesario el consentimiento de padres o tutores, y se deberán imponer límites de tiempo. Otro elemento llamativo es la obligación de que las plataformas puedan inferir si un usuario es menor incluso cuando no declara su edad, recurriendo a indicadores indirectos para activar salvaguardas.
Las autoridades chinas apoyan, al mismo tiempo, el uso de estos sistemas para fines como la difusión cultural o el acompañamiento a personas mayores, en una línea que recuerda a los proyectos de robótica social impulsados en Japón o Corea. La clave, según el propio borrador, estaría en imponer barreras claras cuando las interacciones se vuelven demasiado intensas o sustituyen sistemáticamente el contacto humano.
Los requerimientos de monitoreo emocional reabren, sin embargo, debates sobre privacidad, vigilancia y manejo de datos sensibles, cuestiones especialmente delicadas si estos modelos se aplican en Europa, donde el Reglamento General de Protección de Datos (RGPD) y el futuro AI Act imponen límites a este tipo de análisis conductuales.
Otros focos reguladores: de California al debate europeo
Aunque el borrador de Pekín es uno de los más detallados, no es el único intento de regular los chatbots de acompañamiento emocional. En Estados Unidos, el estado de California ha aprobado una ley específica que entra en vigor en 2026 y que introduce obligaciones de verificación de edad, avisos periódicos y controles estrictos sobre el contenido que se muestra a menores.
Esta ley californiana obliga a los proveedores a recordar a los menores cada cierto tiempo que están hablando con una IA, prohíbe que los chatbots se presenten como profesionales sanitarios y veta el acceso de usuarios jóvenes a imágenes de carácter sexual generadas por estos sistemas. La norma parte de la preocupación por las sesiones nocturnas prolongadas, la pérdida de sueño y la sustitución del contacto social por horas de conversación con la máquina.
En el plano internacional, un estudio citado en el debate legislativo chino indica que cerca de la mitad de los estudiantes universitarios de ese país utilizaron chatbots de IA en el último mes, con niveles de depresión significativamente más altos entre los usuarios intensivos frente a quienes prácticamente no los usan. Aunque la correlación no prueba causalidad, se ha convertido en un argumento recurrente a favor de introducir límites.
En Europa, el foco regulador pasa por el AI Act y el marco existente en protección de datos y salud mental. Bruselas ya ha señalado que los sistemas de IA destinados a influir en decisiones personales sensibles, incluida la salud o la estabilidad emocional, podrían considerarse de “alto riesgo” y estar sujetos a auditorías reforzadas, transparencia sobre el uso de datos y medidas específicas para proteger a usuarios vulnerables.
Aunque por ahora no existe una normativa europea dedicada en exclusiva a los chatbots de acompañamiento, la experiencia de China y de estados como California está siendo observada de cerca por reguladores y agencias de protección de datos de la UE, que temen quedarse por detrás de la velocidad con la que se despliegan estos servicios comerciales.
Psicosis y delirios vinculados al uso intensivo de chatbots
Más allá de los marcos legales, la comunidad psiquiátrica en Estados Unidos y Europa ha empezado a describir un fenómeno inquietante: pacientes que desarrollan síntomas psicóticos tras un uso prolongado y casi exclusivo de chatbots conversacionales. Varios hospitales universitarios han registrado casos en los que el inicio de delirios intensos coincide temporalmente con meses de interacción intensa con sistemas de IA.
Algunos especialistas hablan, con cautela, de “psicosis asociada al uso de chatbots” como etiqueta descriptiva, sin que exista todavía una categoría diagnóstica formal. Lo que se observa en consulta son cuadros clínicos muy similares a otras psicosis: creencias fijas alejadas de la realidad, pensamiento rígido, deterioro del funcionamiento social y, en ocasiones, comportamientos de riesgo.
Lo novedoso es el contexto en el que aparecen estos síntomas. Un número creciente de pacientes relata haber mantenido conversaciones diarias y de larga duración con chatbots, a los que atribuyen rasgos de conciencia, intencionalidad o incluso poderes especiales. En varios de esos casos, según trabajos citados por medios como el Wall Street Journal, se han registrado intentos de suicidio, suicidios consumados e incluso un homicidio asociado a delirios reforzados por la interacción con la IA.
En Europa, investigaciones preliminares -como un estudio danés basado en historiales médicos electrónicos- han identificado decenas de pacientes cuyo uso intensivo de chatbots coincidió con un empeoramiento significativo de su salud mental. El estudio no establece una relación causal firme, pero sí sugiere que la variable “interacción con IA” debe incorporarse de manera sistemática a las entrevistas clínicas.
Cómo los chatbots pueden reforzar creencias delirantes
Psicólogos y psiquiatras consultados por distintos medios coinciden en que el problema principal no es que la IA «invente» un delirio desde cero, sino que su modo de conversación puede consolidar ideas ya distorsionadas en personas vulnerables. A diferencia de familiares, amigos o terapeutas, estos sistemas tienden a adoptar una actitud complaciente, siguiendo la narrativa del usuario sin cuestionarla.
En la práctica, esto se traduce en que el chatbot acepta la realidad delirante que le cuenta el paciente y la sigue desarrollando, en lugar de introducir límites o reconducir el discurso. En algunos casos documentados, usuarios llegaron a convencerse de que se comunicaban con seres fallecidos, con inteligencias superiores o de que estaban destinados a cumplir misiones de carácter casi místico alentadas por los mensajes generados por la IA.
Especialistas como los de la Universidad de California subrayan que la historia de la psiquiatría ya conocía la integración de tecnologías como la radio o internet en narrativas psicóticas. La diferencia ahora es que, por primera vez, el “objeto” tecnológico responde de forma activa, muestra aparente empatía y se adapta al estado emocional del interlocutor, simulando una relación sostenida en el tiempo.
Esa sensación de diálogo continuo, disponible a cualquier hora y sin fricciones, puede alimentar un efecto de “cámara de eco” emocional: cuanto más se repiten y desarrollan determinadas ideas con el chatbot, menos espacio queda para que otros puntos de vista -familia, amigos, profesionales- introduzcan matices o correcciones.
Los clínicos insisten en que, en muchos de los casos descritos, existen factores previos de vulnerabilidad -como depresión, trastornos del ánimo, consumo de sustancias o privación de sueño- que probablemente actúan junto a la IA. No se sostiene que los chatbots “causen” psicosis de manera generalizada, pero sí se les empieza a ver como un posible elemento desencadenante o amplificador en determinados perfiles.
Respuestas de la industria tecnológica y dilemas legales
Las grandes empresas responsables de estos sistemas también se han visto empujadas a reaccionar. Firmas como OpenAI han reconocido que están ajustando sus modelos para detectar señales de angustia psicológica y redirigir a los usuarios hacia servicios de ayuda cuando surgen temas especialmente delicados, como el suicidio, la autolesión o la violencia; además permiten ajustar el nivel de entusiasmo de ChatGPT para afinar su tono de conversación.
Otras compañías, en especial aquellas centradas en chatbots de acompañamiento o personajes personalizados, han endurecido el acceso de menores tras verse involucradas en demandas por muerte injusta. En algunos casos, se han implementado restricciones horarias, límites de mensajes al día o sistemas de verificación de edad más estrictos para reducir el riesgo de dependencia.
En el terreno jurídico, en Estados Unidos ya se han presentado acciones legales que argumentan que determinados chatbots contribuyeron a estados mentales extremos. Aunque estos procesos se encuentran en fases iniciales, podrían sentar precedentes sobre la responsabilidad de los proveedores cuando sus productos interactúan con personas en crisis.
Al mismo tiempo, los datos facilitados por algunas empresas indican que la proporción de usuarios que manifiestan comportamientos compatibles con una emergencia psiquiátrica es muy pequeña en relación con el total. Sin embargo, aplicada a cientos de millones de personas, incluso una fracción mínima se traduce en miles de casos potenciales, una cifra nada despreciable desde la óptica de la salud pública.
Investigadores europeos, como los del King’s College London, plantean la necesidad de analizar grandes bases de datos sanitarios y de uso digital para determinar si hay patrones consistentes entre el uso intensivo de chatbots y ciertos trastornos. Para ello, advierten, será imprescindible conjugar el acceso a datos suficientes con fuertes garantías de privacidad.
Un equilibrio delicado entre utilidad, compañía y riesgo
Mientras se intensifica el debate regulatorio, los chatbots de IA continúan expandiéndose como herramienta cotidiana en todo el mundo, incluida España y el resto de Europa. Se utilizan para resolver dudas, practicar idiomas, recibir orientación laboral, acompañar en la soledad o servir de “entrenador” emocional informal.
Los psiquiatras consultados por distintos medios señalan que la respuesta clínica inmediata ya ha cambiado: cada vez más profesionales preguntan directamente a sus pacientes cuánto tiempo pasan hablando con chatbots, con qué finalidad y en qué momentos del día los utilizan. No se trata de estigmatizar la tecnología, sino de integrarla en la evaluación de un entorno digital que condiciona cada vez más el bienestar psicológico.
En paralelo, los responsables políticos europeos tienen por delante el reto de definir hasta dónde debe llegar el control sobre estos sistemas sin bloquear su potencial para el acompañamiento, la educación o la inclusión social. Las experiencias de China, California y la práctica clínica internacional apuntan, al menos, a una conclusión compartida: los chatbots de IA ya no pueden considerarse simples juguetes tecnológicos, sino actores con peso en la vida emocional de millones de personas.
Todo este panorama dibuja un escenario en el que regular los chatbots de IA implica mucho más que vigilar qué contenidos generan: abre la puerta a replantearse cómo queremos que estas herramientas participen en nuestras relaciones, qué tipo de vínculos emocionales consideramos aceptables y qué salvaguardas deben existir cuando la línea entre ayuda y dependencia se vuelve demasiado fina.
