Cómo funcionan realmente los grandes modelos de lenguaje, paso a paso

Paso uno: el texto se convierte en tokens

El modelo nunca ve tus palabras como palabras. Tu texto se divide primero en tokens, pequeños fragmentos que suelen ser una palabra o parte de una palabra. Cada token tiene un número. "La piscina del hotel" podría convertirse en tres tokens, cada uno representado por un identificador que el modelo reconoce. A partir de aquí, el modelo trabaja con esos números.

Paso dos: los tokens se convierten en significado

Cada identificador de token se convierte en un embedding, una larga lista de números que recoge lo que ese token suele significar y cómo se relaciona con otros tokens. El modelo los hace pasar después por muchas capas de una estructura llamada transformador. El movimiento clave dentro de un transformador es la atención: para cada token, el modelo pondera cuánto le importa cada uno de los demás tokens de la entrada. En "la piscina está cerrada porque la están limpiando", la atención es lo que permite que "la" vuelva a conectar con "piscina".

Capa a capa, la representación de cada token se afina según su contexto, hasta que el modelo tiene un sentido rico de aquello de lo que trata toda la entrada.

Paso tres: predecir el siguiente token

Ahora el acto central. Dado todo lo anterior, el modelo produce una puntuación para cada token de su vocabulario, estimando qué probabilidad tiene cada uno de venir a continuación. A partir de "El spa abre de diez a" el modelo podría puntuar alto "seis" y "ocho", y muy bajo "plátano". Se elige un token, normalmente uno de los más probables, con algo de aleatoriedad para que la salida no sea siempre idéntica.

Paso cuatro: repetir

Ese token elegido se añade al texto, y todo el proceso se ejecuta de nuevo sobre la entrada, ahora un poco más larga. Predecir, añadir, predecir, añadir. Un párrafo se produce token a token, cada predicción condicionada por todo lo anterior. Por eso las respuestas aparecen palabra a palabra en pantalla: estás viendo cómo se ejecuta el bucle.

De dónde viene el conocimiento

El entrenamiento es lo que hace buenas las predicciones. Al modelo se le mostró una cantidad enorme de texto y, para cada posición, se le pidió predecir el siguiente token. Cada acierto fallido empujaba sus números internos hacia uno mejor. Repetido a lo largo de billones de ejemplos, esto produce un sistema que ha absorbido gramática, hechos, patrones de razonamiento y estilos, no como frases almacenadas sino como tendencias aprendidas sobre qué sigue a qué.

Eso tiene una consecuencia directa. El modelo no consulta nada cuando responde. Regenera texto que es estadísticamente coherente con lo que aprendió. Cuando el patrón que aprendió es preciso, también lo es la respuesta. Cuando el hecho relevante nunca estuvo en su entrenamiento, o era poco frecuente, aun así producirá una continuación segura, y por eso los modelos alucinan.

Por qué esto explica tantas cosas

El bucle del siguiente token explica la mayoría de los comportamientos que la gente encuentra sorprendentes.

Explica la fluidez: el modelo está optimizado para producir texto que se lee bien. Explica la alucinación: lo plausible viene antes que lo verdadero. Explica la ventana de contexto: el bucle solo puede condicionarse por lo que cabe en la entrada. Explica por qué los hechos del prompt pesan más que los hechos en la memoria: los tokens presentes en la entrada moldean directamente la predicción, con mucha más fuerza que un patrón tenue del entrenamiento.

Qué significa esto para que te entiendan

Si quieres que un modelo diga cosas precisas sobre tu negocio, no estás intentando enseñarle. Estás intentando poner los tokens correctos delante de él en el momento en que predice. Hechos claros y específicos que un sistema de recuperación pueda encontrar y colocar en la entrada pasan a formar parte de aquello que condiciona al modelo. Todo lo demás queda a merced del patrón, y el patrón es una conjetura.