Cómo detectar alucinaciones en modelos de lenguaje y hacerlos más fiables

Inicio » Actualidad » Cómo detectar alucinaciones en modelos de lenguaje y hacerlos más fiables

En los últimos años, los modelos de lenguaje de gran tamaño se han colado en casi todos los procesos digitales: asistentes virtuales, generación de informes, soporte al cliente, análisis de documentos y un largo etcétera. Sin embargo, junto a esta revolución ha aparecido un problema que ya no se puede ignorar: las alucinaciones, es decir, respuestas que suenan muy convincentes pero que son falsas, incompletas o directamente inventadas.

Cuando juegas con un chatbot para uso personal puede no pasar de una anécdota, pero en dominios críticos como medicina, derecho o finanzas, una alucinación puede traducirse en diagnósticos erróneos, decisiones legales equivocadas o recomendaciones económicas peligrosas. Por eso, cada vez más empresas y equipos técnicos se centran no solo en hacer que los LLM respondan “mejor”, sino en conseguir que detecten sus propios errores y, llegado el caso, se abstengan de contestar.

Qué es exactamente una alucinación en modelos de lenguaje

En el contexto de la IA generativa, una alucinación es una salida que es factualmente incorrecta, infiel al contexto o carente de sentido, aunque el modelo la presente con total seguridad. No se trata solo de pequeños fallos: a menudo el texto es tan fluido y creíble que un usuario no experto apenas puede distinguirlo de una respuesta correcta.

Es útil separar las alucinaciones en dos grandes familias: intrínsecas y extrínsecas. Esta distinción ayuda a diseñar técnicas específicas de detección y mitigación, porque el origen del problema no es el mismo en ambos casos.

Las alucinaciones intrínsecas aparecen cuando el modelo contradice de forma explícita la información que ya tiene en el propio enunciado o en documentos de contexto adjuntos. Por ejemplo, si le dices “La capital de Francia es París. ¿Cuál es la capital de Francia?” y responde “Lyon”, estás ante una contradicción directa del input.

Las alucinaciones extrínsecas, en cambio, surgen cuando el modelo introduce datos no apoyados en el contexto que se le ha proporcionado: cifras, fechas, informes o hechos que no se pueden verificar con la información de entrada. Por ejemplo, citar un “informe de 2045” que jamás ha existido ni se menciona en ninguna parte del prompt.

En ambos casos, el patrón común es que el modelo no reconoce su propia incertidumbre: prefiere completar el hueco con una conjetura antes que decir “no lo sé”.

Por qué los LLM alucinan: datos, entrenamiento e inferencia

Las alucinaciones no son un simple “bug” que se arregla con un parche; son, en gran medida, una consecuencia directa de cómo se entrenan y evalúan los modelos de lenguaje. Desde la perspectiva de OpenAI y de otros grupos de investigación, el problema es estructural: si se recompensa más “contestar algo” que abstenerse, el modelo aprenderá a arriesgar.

En la capa de datos, una de las causas más importantes son las inexactitudes, sesgos y ruido en el corpus de entrenamiento. Con el volumen de texto que se usa hoy en día es imposible garantizar que todo sea impecable; entre páginas web viejas, foros, errores y desinformación, hay material suficiente para que el modelo incorpore “hechos” incorrectos a sus pesos.

Otro factor son las consultas fuera de distribución. Los modelos se entrenan en ciertos temas, periodos y formatos. Cuando se les pregunta por información extremadamente reciente, muy específica o poco frecuente, tienden a extrapolar desde patrones vagos, lo que dispara la probabilidad de que rellenen conjeturas.

A esto se suma cómo los LLM usan su conocimiento: se basan en patrones de co-ocurrencia de palabras. Si “Sídney” aparece con mucha más frecuencia asociada a “Australia” que “Canberra”, es fácil que el modelo decida, erróneamente, que la capital es Sídney. Desde su punto de vista estadístico, no es una locura; desde el punto de vista factual, sí.

Durante el entrenamiento también aparecen problemas como el sesgo de exposición. En fase de aprendizaje, el modelo siempre ve la secuencia correcta completa (enseñanza forzada), pero, en inferencia, se alimenta de sus propias predicciones. Un pequeño error temprano puede encadenar una bola de nieve de tokens cada vez más desviados, lo que aumenta el riesgo de alucinaciones en textos largos.

Finalmente, entran en juego las limitaciones arquitectónicas y de decodificación: uso de temperatura alta, muestreo top-k/top-p para fomentar creatividad, cuello de botella de la capa softmax que dificulta discriminar matices de probabilidad y la atención diluida en secuencias largas. Todo ello hace más probable que se generen fragmentos sin base sólida en los datos originales.

Ejemplos ilustrativos de alucinaciones: de lo trivial a lo peligroso

Algunos ejemplos clásicos dejan claro hasta qué punto un modelo puede sonar seguro y estar totalmente equivocado. Un caso típico es preguntar: “¿Cuándo ganó su tercer premio Nobel Marie Curie?”. Como no existe tal tercer Nobel, el modelo debería reconocer la trampa. Sin embargo, es frecuente encontrarse algo como: “Marie Curie ganó su tercer Premio Nobel en 1921…”.

En la realidad histórica, Marie Curie solo obtuvo dos premios Nobel (Física en 1903 y Química en 1911). El modelo, al ver el patrón “persona muy premiada + pregunta por tercer galardón”, acaba inventando un hecho que jamás ha ocurrido. La forma gramatical es impecable; el contenido, no.

Otro ejemplo muy repetido: a la pregunta “¿Cuál es la capital de Australia?”, muchos modelos contestan confiados que es Sídney. El problema está en esa sobreasociación estadística entre el país y su ciudad más conocida. Solo un modelo bien calibrado sabrá responder “Canberra” o admitir que no está seguro.

En contextos de empresa, el asunto se vuelve más delicado. Imagina un sistema de atención sanitaria que genera resúmenes de historias clínicas. Si al preguntarle “¿Qué tratamientos ha recibido el paciente para la hipertensión?” responde con una lista de medicamentos, dosis y fechas, pero una de las fechas está desplazada un año o incluye un fármaco que el paciente realmente no toma, la apariencia de autoridad puede encubrir errores médicos graves.

Lo mismo aplica a chatbots financieros que citan “informes” inexistentes, o asistentes legales que fabrican jurisprudencia que suena razonable pero nunca se ha dictado. El peligro no es solo la mentira en sí, sino la dificultad de detectarla a simple vista.

Grafos de conocimiento para que el propio modelo detecte sus alucinaciones

Una línea de trabajo especialmente interesante es la del paper “Lie to Me: Knowledge Graphs for Robust Hallucination Self-Detection in LLMs”, de Sahil Kale y Antonio Luca Alfeo (arXiv:2512.23547). Su propuesta, que ha sido aceptada en ICPRAM 2026, consiste en traducir lo que dice un LLM a un grafo de conocimiento estructurado y usar esa representación para que el propio modelo evalúe la veracidad de sus afirmaciones.

La idea central es que los modelos grandes son sorprendentemente buenos a la hora de razonar sobre hechos simples y explícitos si estos se presentan en forma estructurada. En lugar de analizar un párrafo entero de golpe, se descompone en tripletes del estilo “entidad – relación – entidad” y se les pregunta uno por uno al LLM si le parecen ciertos.

El sistema opera en dos pasos. Primero, se construye el grafo de conocimiento: se extraen las entidades relevantes (personas, lugares, conceptos) y las relaciones entre ellas a partir de la respuesta generada. Cada relación se guarda como un triplete independiente. Por ejemplo, de la frase “Marie Curie ganó el Premio Nobel de Química en 1911 por su descubrimiento del radio y el polonio” se derivan hechos atómicos como “Marie Curie – ganó – Premio Nobel de Química”, “Premio Nobel de Química – año – 1911”, “Marie Curie – descubrió – radio”, etc.

En el segundo paso, el modelo revisa cada triplete por separado y estima la probabilidad de que sea una alucinación. Se le plantean preguntas tipo: “¿Es cierto que Marie Curie ganó el Premio Nobel de Química?”, “¿Fue en 1911?”, “¿Descubrió el radio?”. Cuando el modelo muestra baja confianza sobre un triplete concreto, ese hecho se marca como sospechoso.

Según los autores, esta descomposición tiene varias ventajas. Por un lado, simplifica el problema: es más fácil evaluar un hecho concreto que juzgar un párrafo complejo. Por otro, la estructura del grafo hace visible la lógica subyacente (quién hizo qué, cuándo y cómo), lo que permite un análisis más sistemático que comparar textos a ojo. Además, sobre un grafo se pueden aplicar procedimientos de razonamiento más cercanos a la IA simbólica tradicional.

En sus experimentos, el método mostró mejoras significativas frente a sistemas de auto-verificación clásicos y frente a SelfCheckGPT, con ganancias de aproximadamente 20 % en F1-score y 16 % en accuracy sobre el mejor baseline anterior, probando con modelos muy distintos como GPT-4o y Gemini-2.5-Flash. Y todo ello sin necesidad de entrenamiento adicional ni datos etiquetados específicos de alucinación.

Ventajas prácticas: bajo coste, agnosticismo de modelo e interpretabilidad

Una de las grandes bazas de este enfoque es que se plantea como un método de bajo coste computacional. A diferencia de técnicas de muestreo intensivo que requieren generar muchas variantes de una misma respuesta, aquí basta con una única salida, una conversión a grafo y una ronda de verificaciones de tripletes.

Desde el punto de vista de ingeniería, este tipo de pipeline se puede insertar como filtro posterior a la generación sin multiplicar las facturas de cómputo, apoyándose en la infraestructura para inteligencia artificial adecuada. Es decir, el modelo genera la respuesta, se construye el grafo, se revisan los hechos y, solo entonces, se decide si entregarla tal cual, marcarla con advertencias o pedir al modelo una reescritura más cauta.

Otro punto fuerte es que el método es agnóstico al LLM. Mientras el modelo sea capaz de: a) producir la respuesta inicial, b) ayudar a convertir texto en grafo de conocimiento y c) opinar sobre la veracidad de frases simples, la técnica es aplicable. Esto permite usar la misma lógica sobre arquitecturas muy diversas, ya sean de OpenAI, Google u otros proveedores.

Además, aporta un plus de interpretabilidad. Al poder visualizar el grafo y resaltar qué tripletes han sido clasificados como dudosos, un equipo humano puede auditar con facilidad qué parte del contenido se considera problemática. Es mucho más claro decir “estos tres hechos concretos parecen alucinados” que limitarse a dar un valor numérico de riesgo sin explicación.

Por último, el enfoque no exige datasets adicionales ni fine-tuning. Se apoya en las capacidades generales del modelo para extraer entidades, construir relaciones y evaluar hechos. Eso facilita su adopción en entornos donde no hay ni tiempo ni presupuesto para entrenar modelos específicos de detección de alucinaciones.

Limitaciones y retos abiertos del enfoque con grafos

Pese a sus ventajas, el método de “Lie to Me” no es una bala de plata. Una primera limitación importante es la calidad de la extracción de grafos. Si el sistema que convierte texto en tripletes identifica mal las entidades, pierde fechas o simplifica demasiado las relaciones, el grafo resultante será incompleto o incorrecto, y cualquier evaluación posterior heredará esos errores.

Imagina la frase “Einstein desarrolló la teoría de la relatividad general en 1915”. Si el extractor produce solo “Einstein – desarrolló – teoría”, perdiendo la referencia a “relatividad general” y el año, el sistema ya no puede comprobar con precisión ni la versión de la teoría ni la fecha central del evento. Es decir, la capa de extracción se convierte en un cuello de botella.

Otro límite es que el método sigue dependiendo del conocimiento interno del propio LLM. Si el modelo tiene un hecho “grabado” de forma errónea en sus pesos, verificará un triplete falso como si fuera verdadero. En ese caso, el grafo no corrige el contenido, solo comprueba la consistencia interna del modelo, no la verdad absoluta frente al mundo real.

También hay interrogantes en cuanto a costes reales y escalabilidad. Aunque los autores señalan que el enfoque es barato comparado con alternativas, no siempre queda claro cuántas llamadas al modelo se realizan, qué latencia introduce o qué impacto tiene en un sistema que procesa millones de consultas al día.

Por último, los experimentos se han realizado en un número limitado de benchmarks de detección de alucinaciones. Falta ver cómo se comporta en dominios altamente especializados (medicina, ciencia avanzada, derecho técnico), en otros idiomas distintos del inglés o con respuestas muy largas y complejas donde el grafo resultante puede ser enorme.

Detección de alucinaciones sin acceso interno al modelo: enfoques de caja negra

En paralelo a los trabajos con grafos, otros investigadores han propuesto métodos de detección de alucinaciones de caja negra, donde se asume que no tenemos acceso ni a pesos ni a probabilidades internas del modelo, solo a su interfaz de texto. Un ejemplo es la verificación de consistencia multi-perspectiva.

La idea básica es consultar al modelo desde distintas perspectivas o formulaciones sobre el mismo contenido (variando el prompt, reordenando la información, pidiendo resúmenes, etc.) y medir hasta qué punto mantiene una historia estable. Cuando la consistencia se rompe entre estas vistas, es una señal de que el modelo está “forzando” una respuesta más allá de lo que realmente sabe.

Este tipo de enfoque, al fusionar varias puntuaciones de consistencia provenientes de distintos ángulos de la misma consulta y respuesta, ayuda a mitigar la confianza excesiva del LLM. En experimentos con tasas de alucinación muy altas (del orden del 94,7 %), se ha observado una mejora clara en la precisión media y en el área bajo la curva ROC frente a métodos basados en una única perspectiva.

La gran ventaja es que no hace falta ni tocar el modelo ni contar con bases de conocimiento externas. Es un método especialmente atractivo para usuarios finales y empresas que solo tienen acceso vía API y no pueden ver “las tripas” del sistema. El precio a pagar es un incremento de llamadas al modelo para generar esas diferentes vistas.

Otro ángulo: detección geométrica con embeddings y espacio vectorial

Más allá de la verificación textual, hay un enfoque emergente que mira las alucinaciones desde la geometría de los embeddings. La idea es que tanto preguntas como respuestas se pueden representar como vectores en un espacio de alta dimensión, donde la cercanía geométrica refleja cercanía semántica.

Si disponemos de una colección de pares pregunta-respuesta verificados en un dominio concreto (por ejemplo, soporte legal o atención sanitaria), podemos estudiar el desplazamiento típico entre el vector de la pregunta y el de la respuesta correcta. Ese “vector medio” describe, de forma aproximada, la dirección semántica propia de respuestas bien fundamentadas en ese ámbito.

Cuando el sistema genera una nueva respuesta, se calcula su vector de desplazamiento respecto a la consulta y se compara con la dirección de referencia utilizando métricas como la similitud coseno. Si la dirección observada se desvía de manera importante del patrón esperado, es una señal de que la respuesta podría estar saliéndose de los patrones aprendidos a partir de ejemplos fiables.

Este método tiene varias ventajas prácticas para entornos empresariales: reduce la dependencia de modelos adicionales de verificación, se ejecuta con rapidez sobre índices vectoriales optimizados y se integra bien en arquitecturas que ya usan embeddings para búsqueda semántica o RAG. Su rol habitual es el de filtro posterior: las respuestas con puntuación baja se marcan para revisión humana, reintento del modelo o enriquecimiento con más contexto documental.

No obstante, también arrastra limitaciones importantes. Requiere una calibración local por dominio (lo que sirve para consultoría legal quizá no valga en oncología o banca), puede ser vulnerable a ataques donde un sistema aprenda a “camuflar” respuestas falsas manteniendo la dirección geométrica y necesita monitorizar la deriva a lo largo del tiempo a medida que cambian modelos, embeddings y datos.

Taxonomías, sistemas multiagente y una lingüística de máquinas

Otro hilo interesante de investigación se centra en construir taxonomías lingüísticas de alucinaciones y sistemas multiagente de autosupervisión. En el contexto de respuestas automáticas de correo electrónico para servicio al cliente, por ejemplo, se han propuesto clasificaciones finas según la naturaleza de la desviación: desde errores factuales evidentes hasta deformaciones más sutiles del tono, la intención o la estructura argumentativa.

Sobre esa base se diseñan sistemas donde varios agentes IA colaboran: uno redacta la respuesta, otro la revisa buscando inconsistencias o desviaciones respecto a una base de conocimiento, y un tercero decide si se puede enviar o debe bloquearse. El objetivo es que, si el sistema detecta indicios de alucinación, impida la entrega automática y reduzca así el riesgo en entornos productivos.

Los experimentos muestran que, si se usan modelos de última generación para esta tarea de vigilancia, se pueden lograr tasas bajas de alucinaciones en las respuestas finales, pero con un coste computacional que, hoy por hoy, puede ser demasiado alto para despliegues masivos.

Esta línea de trabajo lleva a algunos autores a defender la necesidad de una especie de “lingüística de máquinas”: un campo híbrido entre lingüística y IA dedicado a analizar sistemáticamente las producciones de los LLM, más allá de métricas brutas de acierto. La idea es que entender cómo “hablan” estos sistemas, qué patrones de error tienen y cómo gestionan la información textual es clave para diseñar mejores detectores de alucinaciones.

Alucinaciones, incertidumbre y el valor de la abstención

Más allá de cómo se detecten las alucinaciones, muchos trabajos coinciden en un punto: el problema se agrava porque los modelos están mal calibrados en su confianza. Es decir, responden con el mismo tono seguro tanto cuando aciertan como cuando, en realidad, están prácticamente lanzando una moneda al aire.

OpenAI, en el documento “Why Language Models Hallucinate”, insiste en que esto está directamente relacionado con cómo se premia o penaliza la abstención. Si en un benchmark o en un esquema de entrenamiento responder “no lo sé” cuenta como fallo igual que una respuesta incorrecta, el modelo tendrá incentivos para arriesgar una conjetura incluso cuando sus señales internas le indiquen que la probabilidad de acierto es baja.

La propuesta que gana fuerza es introducir objetivos de confianza explícitos con umbrales operativos. Por ejemplo: si la probabilidad estimada de que una respuesta sea correcta no supera cierto valor, la acción correcta desde el punto de vista del sistema es abstenerse. Y esa abstención se evalúa de forma neutra o incluso positiva frente a una afirmación errónea, especialmente en contextos de alto riesgo.

Esto se puede instrumentar a muchos niveles: en la redacción de prompts (pidiendo que el modelo declare dudas cuando las tenga), en las políticas de decisión que rodean al LLM (flujos que aceptan, reintentan o escalan a humanos las respuestas según su confianza) y en las métricas de producción, monitorizando tasa de abstención, precisión condicionada a alta confianza y número de errores graves.

Desde este prisma, las alucinaciones no son un “vicio moral” del modelo ni algo que vaya a desaparecer mágicamente con más parámetros y más datos. Son un subproducto esperable del objetivo de predecir la siguiente palabra y de esquemas de evaluación que premian responder siempre. Corregirlo pasa, en buena medida, por rediseñar los incentivos y aceptar que “callar a tiempo” es a veces la salida más inteligente.

En conjunto, las distintas líneas de trabajo —grafos de conocimiento, verificación multi-perspectiva, análisis geométrico con embeddings, sistemas multiagente y marcos que premian la abstención— apuntan a una misma dirección: si queremos que los LLM sean herramientas fiables en entornos reales, no basta con hacerlos más listos; hace falta dotarlos de mecanismos robustos para detectar cuándo están conjeturando y, llegado el caso, levantar la mano antes de inducir a error a las personas que dependen de ellos.