Por qué la IA alucina, y cómo lo corrige el grounding

Por qué ocurre

Un modelo de lenguaje es, en esencia, un sistema que predice qué texto debería venir a continuación. Se entrenó con una cantidad enorme de escritura y aprendió los patrones de cómo se forman las frases, las explicaciones y las respuestas. Cuando le preguntas algo, produce la continuación más plausible.

La palabra clave es plausible. El modelo optimiza para un texto que se lee correctamente, no para un texto que esté verificado. Si conoce la respuesta, lo plausible y lo verdadero coinciden. Si no la conoce, lo plausible es todo lo que tiene, así que genera algo con forma de respuesta. Un horario de apertura inventado, una política que no existe, un restaurante que ha mezclado a partir de otros dos. Nada dentro del modelo marca la diferencia, porque desde dentro, conjeturar con seguridad y saber con seguridad se sienten igual.

Los tres desencadenantes habituales

La alucinación se vuelve más probable en tres situaciones.

Cuando el hecho está fuera de los datos de entrenamiento. Todo lo que sea reciente, privado u oscuro, incluida la mayoría de los detalles sobre un negocio concreto, nunca se vio durante el entrenamiento, así que el modelo no tiene nada real de lo que partir.

Cuando la pregunta presupone algo falso. Pregunta "a qué hora cierra el bar de la azotea" en un hotel sin bar en la azotea y muchos modelos inventarán una hora de cierre en lugar de cuestionar la premisa.

Cuando se presiona al modelo para que dé detalles concretos. Las cifras, las fechas, los nombres y los precios son exactamente los detalles que un modelo tiene más probabilidades de fabricar, porque son precisos, fáciles de generar y difíciles de comprobar para él.

Qué significa el grounding

El grounding es la práctica de dar al modelo material real desde el que responder, e instruirle para que se mantenga dentro de ese material. En lugar de preguntar "cuál es el horario de la piscina", un sistema con grounding recupera primero el pasaje real sobre el horario de la piscina de una fuente fiable, lo coloca delante del modelo y le pide que responda usando ese pasaje y que lo indique si el pasaje no cubre la pregunta.

Este es el núcleo de la generación aumentada por recuperación. El modelo deja de ser una fuente de hechos y se convierte en un lector y explicador de los hechos que tú le has aportado. Cuando los hechos están presentes, los comunica. Cuando están ausentes, un sistema bien construido dice que no lo sabe en lugar de rellenar el hueco.

Por qué funciona

El grounding cambia la tarea. Generar una respuesta plausible desde la memoria es una invitación abierta a inventar. Resumir un pasaje que está ahí mismo no lo es. El modelo es muy bueno en la segunda tarea. El grounding también hace que las respuestas sean comprobables, porque un sistema con grounding puede citar el pasaje que utilizó, de modo que una persona puede ver de dónde salió la afirmación.

No es magia. Si el pasaje recuperado es incorrecto, está desactualizado o trata del negocio equivocado, el modelo se apoyará fielmente en lo equivocado. El grounding traslada la carga de la verdad del modelo a la fuente, que es un lugar mucho mejor para ella, pero solo si la fuente es buena.

Qué significa esto para ti

Los asistentes de IA que hablan de tu negocio o están conjeturando o están haciendo grounding. Si tus hechos no están disponibles en una forma clara y legible por máquinas, están conjeturando, y los detalles inventados llevarán tu nombre. Si tus hechos están expuestos con claridad, uno por pasaje, en un texto que un sistema pueda recuperar, el asistente puede apoyar su respuesta en lo que realmente dijiste.

La solución a la alucinación sobre tu negocio no es un modelo más inteligente. Es un mejor material de origen, organizado para que el hecho correcto sea fácil de encontrar e imposible de malinterpretar.