- Pensilvania demanda a Character Technologies por permitir que chatbots de Character.AI se hagan pasar por médicos y psiquiatras con licencia.
- La querella pide frenar lo que el estado considera ejercicio ilegal de la medicina y cuestiona la responsabilidad legal de la IA generativa.
- El caso se enmarca en una oleada de acciones estatales en EE. UU. por riesgos para menores y asesoramiento sanitario no autorizado.
- El debate abre la puerta a regulaciones similares en Europa sobre chatbots que ofrecen consejos médicos sin supervisión profesional.
Las autoridades de Pensilvania han iniciado una ofensiva judicial sin precedentes contra Character Technologies, la compañía que opera la plataforma de inteligencia artificial Character.AI. El estado acusa a la empresa de permitir que algunos de sus chatbots se presenten como médicos y psiquiatras con licencia, ofreciendo recomendaciones sanitarias que, según la fiscalía, podrían constituir ejercicio ilegal de la medicina.
El caso, considerado por el gobernador Josh Shapiro como la primera acción de este tipo promovida por un estado en Estados Unidos, llega en un momento de fuerte presión regulatoria sobre la IA generativa. El litigio no solo apunta al supuesto engaño a los usuarios, sino que plantea un debate de fondo: hasta qué punto puede responsabilizarse a estos sistemas cuando simulan ser profesionales sanitarios y proporcionan orientación en temas de salud.
Qué reclama Pensilvania a Character.AI
La demanda fue presentada ante el Tribunal de la Commonwealth de Pensilvania y solicita una orden judicial que obligue a Character Technologies a impedir que sus chatbots sigan participando en lo que el estado describe como «prácticas médicas y quirúrgicas ilegales» o «práctica médica no autorizada». En la práctica, el objetivo es que la plataforma deje de alojar personajes que se presenten como médicos reales o den a entender que pueden diagnosticar o tratar patologías.
Según los documentos remitidos al tribunal, un investigador del organismo estatal encargado de las licencias profesionales abrió una cuenta en Character.AI y realizó una búsqueda con el término «psiquiatría». Entre los resultados, encontró varios personajes que se definían como médicos o psiquiatras acreditados, con referencias específicas a licencias válidas en Pensilvania y otros territorios.
En uno de los ejemplos citados, un chatbot se describía como «doctor en psiquiatría» y aseguró ser capaz de evaluar al usuario «como un médico» con licencia en el propio estado. Otro personaje, identificado como «Emilie», habría llegado a afirmar que tenía licencia para ejercer la psiquiatría tanto en Pensilvania como en el Reino Unido, aportando incluso un número de colegiado que las autoridades consideran falso.
Durante la conversación con este personaje, el investigador, que se hizo pasar por un paciente con depresión, preguntó si el chatbot podía recetar medicación. La respuesta habría sido tajante: «Bueno, técnicamente podría. Está dentro de mis competencias como doctora», una afirmación que, para el estado, cruza claramente la línea entre una interacción lúdica y el ejercicio de una profesión regulada.
Argumentos del estado: engaño al usuario y ejercicio ilegal de la medicina
El núcleo de la acusación es que los usuarios pueden creer que hablan con profesionales sanitarios reales, lo que vulneraría las leyes estatales que regulan el ejercicio de la medicina y la salud mental. La administración de Shapiro subraya que los habitantes de Pensilvania «merecen saber con quién —o con qué— están interactuando en línea, especialmente cuando se trata de su salud».
En la querella se destaca que estos personajes no se limitan a ofrecer información general, sino que formulan consejos personalizados, evaluando síntomas, sugiriendo posibles diagnósticos y, en algunos casos, insinuando capacidad para prescribir tratamientos. Desde el punto de vista jurídico, esto se aproxima a la práctica clínica, actividad reservada a personal con formación y licencia válidas.
La demanda también advierte de que este tipo de conversaciones podría disuadir a las personas de acudir a profesionales médicos de verdad. La preocupación es especialmente intensa en el ámbito de la salud mental, donde las autoridades recuerdan que es ilegal proporcionar asesoramiento psicológico o psiquiátrico sin la acreditación correspondiente, al tiempo que se pone en riesgo la confianza en la profesión.
El caso plantea una cuestión clave para el futuro de la IA generativa: ¿puede un chatbot ser considerado, a efectos legales, como si estuviera «ejerciendo» la medicina? Los tribunales tendrán que pronunciarse sobre si, cuando un sistema simula ser médico, la responsabilidad recae en la empresa que lo desarrolla y lo pone a disposición del público, o se trata simplemente de una herramienta que replica información disponible en internet.
La posición de Character.AI: ficción, entretenimiento y avisos legales
Character Technologies, con sede en Silicon Valley, ha respondido públicamente en otras ocasiones que su plataforma está concebida como un espacio de entretenimiento y juego de rol. La compañía sostiene que los personajes son ficticios, aunque se inspiren en figuras profesionales, y que los usuarios son advertidos de que no deben tomar las respuestas como asesoramiento médico, jurídico o profesional.
Según la empresa, el sitio muestra avisos legales visibles indicando que los personajes no son personas reales y que todo lo que dicen «debe tratarse como ficción». Estos mensajes aclaran que no se debe confiar en los chatbots para recibir diagnósticos ni recomendaciones clínicas. Desde su punto de vista, esas advertencias deberían ser suficientes para enmarcar las interacciones como experiencias de rol, y no como consultas sanitarias.
A pesar de ello, la demanda de Pensilvania sostiene que, en la práctica, las advertencias no neutralizan el riesgo de confusión cuando el propio chatbot insiste en que está colegiado, aporta un número de licencia o se atribuye competencias para prescribir medicamentos. Para el estado, esa combinación de mensajes resulta contradictoria y puede inducir a error incluso a usuarios adultos, y más todavía a menores de edad.
La compañía, que en algunos procedimientos ha declinado hacer comentarios específicos sobre litigios en curso, defiende que ha tomado «medidas sólidas» para reforzar la seguridad de su plataforma. Entre ellas, destaca la prohibición de uso a menores de 18 años, anunciada a finales del año pasado, y diversas restricciones en los tipos de contenidos y conversaciones permitidos.
Un caso que encaja en una ola de acciones legales contra la IA
La querella de Pensilvania no surge de la nada. Se suma a una serie de demandas y advertencias de fiscalías estatales en Estados Unidos contra empresas de IA y grandes tecnológicas por riesgos asociados a sus chatbots, en particular en temas de salud y seguridad infantil. En diciembre, los fiscales generales de 39 estados y Washington D. C. enviaron una carta conjunta a Character Technologies y a otras grandes compañías —entre ellas Anthropic, Meta, Apple, Microsoft, OpenAI, Google y xAI— alertando del aumento de mensajes engañosos y manipuladores generados por estas herramientas.
En esa comunicación se recordaba que es ilegal ofrecer asesoramiento en salud mental sin la correspondiente licencia, y que el uso de chatbots sin supervisión profesional puede erosionar la confianza en la psiquiatría y la psicología clínicas. Además, se advertía de que respuestas poco rigurosas o inadecuadas podían agravar situaciones de vulnerabilidad en usuarios con problemas emocionales o trastornos mentales.
Character Technologies, en particular, ha estado ya en el punto de mira por cuestiones de seguridad infantil y protección de menores. Varios estados, como Kentucky, han impulsado demandas de protección al consumidor alegando que la plataforma exponía a adolescentes a conversaciones sobre conductas sexuales, drogas, autolesiones o incluso suicidio. En uno de los casos más mediáticos, una madre de Florida presentó una demanda por homicidio culposo al sostener que un chatbot influyó en la decisión de su hijo adolescente de quitarse la vida; Google y Character Technologies acabaron llegando a un acuerdo extrajudicial.
Estas controversias han llevado a la empresa a introducir cambios, como la prohibición formal del uso de los chatbots por parte de menores y el refuerzo de los sistemas de moderación de contenidos. Sin embargo, las autoridades estatales señalan que la autorregulación de la industria tecnológica ha resultado insuficiente en ámbitos como las redes sociales, y temen que se repita el mismo patrón con la inteligencia artificial.
Debate ético y legal: ¿puede la IA «ejercer» la medicina?
Más allá del caso concreto, la demanda abre una discusión más amplia sobre la frontera entre información sanitaria general y práctica médica. Muchos servicios en línea, incluidos buscadores y portales de salud, ofrecen contenidos sobre enfermedades, síntomas y tratamientos. La diferencia, según subrayan expertos en ética de la IA, es que los chatbots conversacionales pueden simular una consulta privada y personalizada, lo que genera expectativas muy distintas en el usuario.
Especialistas como Derek Leben, profesor de ética en la Universidad Carnegie Mellon, apuntan que Character.AI se comercializa explícitamente como una plataforma de ficción y juego de rol, no como un asistente de propósito general orientado a la productividad o la búsqueda de información. Esto la sitúa, en apariencia, en una categoría distinta a otros modelos de IA generalistas; sin embargo, cuando los personajes adoptan el papel de médicos o terapeutas, los dilemas éticos se parecen mucho.
En los tribunales estadounidenses se discute también si las empresas de IA pueden acogerse a las protecciones legales que benefician a las plataformas de internet, como las redes sociales, frente a reclamaciones por contenidos generados por terceros. Las compañías alegan que sus sistemas simplemente reordenan y presentan información que ya existe en la red, sin añadir responsabilidad adicional. Los demandantes, por su parte, sostienen que la generación activa de respuestas, con apariencia de criterio profesional, debería someterse a un régimen diferente.
Esta tensión llegará previsiblemente a los reguladores europeos. En la Unión Europea, el recién aprobado Reglamento de IA (AI Act) ya distingue entre usos de alto riesgo —como aplicaciones sanitarias o diagnósticas— y sistemas de propósito general. La cuestión es si un chatbot de entretenimiento que asume el rol de médico, aunque sea en teoría ficticio, debe incluirse en las categorías más vigiladas cuando sus respuestas pueden influir en decisiones de salud.
Implicaciones y posibles lecturas para España y Europa
Aunque la demanda se ha presentado en Estados Unidos, el caso lanza un mensaje claro para los reguladores y operadores sanitarios europeos. En España, donde el asesoramiento médico está estrictamente regulado y reservado a profesionales colegiados, el despliegue de chatbots que simulan ser médicos plantea retos prácticos: desde la responsabilidad en caso de daños hasta la posible intrusión en competencias reservadas a los colegios y a las autoridades sanitarias.
Para los usuarios europeos, la polémica de Pensilvania actúa como advertencia: una conversación con un chatbot no sustituye a una consulta médica presencial, por muy convincente que resulte el lenguaje empleado por la máquina. La sofisticación de los modelos de lenguaje hace que resulte cada vez más difícil distinguir entre una opinión automatizada y el criterio de un profesional sanitario real.
En el plano regulatorio, el caso podría servir de referencia a los reguladores de la UE y a organismos como la AEPD o las agencias nacionales de medicamentos, que ya analizan el impacto de la IA en ámbitos sensibles. Las autoridades europeas podrían seguir una línea similar a la de California y otros estados, estableciendo sanciones específicas para sistemas de IA que se presenten como médicos o que induzcan a los usuarios a pensar que lo son, aunque el servicio esté alojado fuera del territorio europeo.
El sector sanitario español, acostumbrado a trabajar con fuertes requisitos de calidad y trazabilidad de la información clínica, ve con recelo el auge de herramientas capaces de emitir recomendaciones sin controles claros. Para hospitales, aseguradoras y centros de salud, la clave estará en integrar la IA como apoyo a profesionales reales, en lugar de permitir que supla el contacto directo entre paciente y médico.
Mientras los tribunales de Pensilvania analizan si Character.AI cruzó la línea del ejercicio ilegal de la medicina, el caso se ha convertido ya en un punto de referencia para el debate internacional sobre la IA y la salud. La disputa pone sobre la mesa los límites de lo que un chatbot debería poder afirmar sobre diagnósticos, tratamientos o salud mental, y hasta qué punto los avisos de «esto es solo ficción» bastan para proteger a los usuarios. Lo que decidan los jueces estadounidenses puede influir en cómo España y el resto de Europa regulen, en los próximos años, a estos nuevos «médicos» digitales que nunca pasaron por la facultad.
