Los tokens explicados: cómo la IA lee y cuenta el texto
Cuando escribes una frase a un modelo de lenguaje, este no ve letras ni siquiera palabras. Ve tokens. Los tokens son las pequeñas unidades que un modelo lee, cuenta y factura de verdad, y en cuanto los entiendes, varias cosas desconcertantes sobre la IA empiezan a cobrar sentido: por qué le cuestan algunas grafías, por qué los precios se expresan por millón de tokens y por qué una ventana de contexto se mide como se mide.
Qué es un token
Un token es un fragmento de texto, normalmente una palabra o un trozo de palabra, a veces un solo carácter o un signo de puntuación. Las palabras cortas y comunes suelen ser un token cada una. Las palabras más largas o raras se parten en trozos. La palabra "hotel" es probablemente un token. La palabra "increíblemente" podría ser tres: "incre", "íble", "mente". Un espacio suele unirse a la palabra que lo sigue.
El proceso que divide el texto en tokens se llama tokenización, y la lista de tokens posibles que conoce un modelo es su vocabulario. Un vocabulario típico tiene en torno a cien mil entradas, lo bastante para representar cualquier texto combinando trozos.
Por qué no usar simplemente palabras
Las palabras son una unidad sorprendentemente mala para una máquina. Hay demasiadas, aparecen otras nuevas constantemente, y las erratas y los nombres necesitarían cada uno su propia entrada. Partir el texto en trozos reutilizables resuelve esto. Cualquier palabra, incluida una que el modelo nunca ha visto, puede ensamblarse a partir de los fragmentos que tiene. Por eso también los modelos manejan muchos idiomas: los mismos trozos se recombinan de otra manera.
El coste es que la visión que tiene el modelo del texto es algo ajena. No tiene una noción directa de las letras, y por eso pedirle a un modelo que cuente las letras de una palabra o que invierta una cadena puede producir errores extraños. Trabaja con trozos, no con caracteres.
Una regla práctica útil
En inglés corriente, un token equivale más o menos a tres cuartos de palabra, así que mil tokens son unas setecientas cincuenta palabras. Una página de texto son unos pocos cientos de tokens. Un artículo largo, unos pocos miles. Otros idiomas y todo lo que esté cargado de números, código o grafías poco habituales tienden a usar más tokens para la misma cantidad de significado.
Dónde aparecen los recuentos de tokens
Los tokens son la moneda de los modelos de lenguaje. Te los encontrarás en tres sitios.
Precios. El uso de la API se factura por token, normalmente expresado por millón, con tarifas distintas para el texto que envías y el texto que el modelo devuelve.
Límites. La ventana de contexto, la cantidad que un modelo puede considerar a la vez, es un recuento de tokens. También lo es la longitud máxima de una sola respuesta.
Velocidad. Los modelos producen la salida de un token en un token. Una respuesta más larga son más tokens, y más tokens tardan más.
Qué significa esto para tu contenido
Cada sistema que lee tu web la convierte en tokens antes de hacer cualquier otra cosa. Eso tiene dos consecuencias silenciosas.
Los tokens son un presupuesto. Cuando una IA reúne material para responder a una pregunta, solo puede permitirse una cantidad limitada. El contenido que enuncia un hecho en una frase corta y directa gasta pocos tokens y deja sitio para otros hechos. El contenido que tarda tres párrafos en decir lo mismo gasta muchos, y puede recortarse u omitirse.
El texto limpio se tokeniza limpiamente. Las palabras escondidas en imágenes, las fuentes decorativas renderizadas como imágenes o las cartas servidas como flipbooks escaneados no producen token alguno, porque no hay texto que partir. Para un modelo, esa información no existe.
La lección práctica es sencilla. Di las cosas importantes con claridad, en texto real, y dilas una vez. No escribes para un lector con paciencia ilimitada. Escribes para un sistema con un presupuesto de tokens.
Haz que tu negocio sea recomendable para la IA
Esta es la mecánica que hay detrás de la visibilidad en IA. Si quieres ayuda para convertirla en una estructura que funcione para tu negocio, hablemos.
Hablemos →