llms.txt explicado: el nuevo robots.txt para la IA
Todo sitio web ha tenido durante décadas un pequeño archivo de texto en su raíz: robots.txt, una nota para los rastreadores de los motores de búsqueda que indica qué partes del sitio pueden y no pueden visitar. En 2024 apareció una propuesta de archivo hermano dirigido a un lector distinto. llms.txt es un archivo de texto plano, también en la raíz del sitio, escrito para los grandes modelos de lenguaje. Donde robots.txt dice por dónde puede ir un rastreador, llms.txt dice de qué trata el sitio y dónde vive el contenido más útil, en una forma que un modelo puede leer de una sola pasada.
El problema que intenta resolver
Un modelo de lenguaje con una ventana de contexto limitada no puede leer un sitio web entero. Apuntado a un sitio, tiene que elegir unas pocas páginas, y esas páginas están llenas de navegación, scripts, banners y maquetación que no significan nada para él. La idea de la propuesta es sencilla: dale al modelo un mapa breve y limpio. Esto es lo que somos. Estas son las páginas que importan, con una línea cada una sobre lo que contienen. Y, de forma opcional, aquí están las versiones en texto plano de esas páginas con el ruido eliminado.
Qué contiene el archivo
El formato es deliberadamente mínimo y usa Markdown, que los modelos leen con fluidez. Un encabezado superior con el nombre del sitio o del negocio. Un párrafo breve que lo describe. Luego una o más secciones, cada una con una lista de enlaces y una breve descripción de para qué sirve la página enlazada. El archivo de un hotel podría apuntar a su página de datos, a sus establecimientos y horarios, a sus políticas, a sus preguntas frecuentes y a su información de reservas, cada uno descrito en una frase.
Una convención complementaria propone un archivo más completo, llms-full.txt, que contiene el contenido real de las páginas clave concatenado en un solo documento, para que un modelo pueda asimilarlo todo en una sola lectura sin seguir ningún enlace.
Lo que no es
No es una señal de posicionamiento, y no es un sistema de permisos. No le dice a un modelo qué puede o no puede usar; de eso se ocupan robots.txt y las nuevas directivas de rastreo específicas para IA. No obliga a ningún modelo a leerlo. Es una cortesía y una comodidad: un índice bien redactado que hace que un sitio sea más fácil de entender para cualquier sistema que decida mirarlo.
Quién lo lee
La adopción aún está surgiendo. Varias webs de documentación para desarrolladores publican uno, y algunas herramientas de IA y asistentes de programación lo descargan cuando se les apunta a un dominio. Los grandes asistentes de consumo no han anunciado que dependan de él, y es prudente tratarlo como un añadido de bajo coste y no como una estrategia. Su valor real hoy es doble: cuesta casi nada, y el ejercicio de escribirlo te obliga a decidir cuál es tu contenido legible por máquina más importante y si siquiera existe.
Cómo se relaciona con lo demás
Piensa en tres archivos y una capa. robots.txt controla el acceso. Los sitemaps enumeran cada página para los rastreadores. llms.txt resume el sitio y señala lo que importa, para los modelos. Los datos estructurados en las propias páginas son la capa que expone los hechos en forma legible por máquina. Esto último es lo que más trabaja para la visibilidad en IA; llms.txt es una puerta de entrada útil hacia ella.
Cómo escribir uno bueno
Hazlo breve. Describe el negocio en dos o tres frases claras. Enlaza a las páginas donde viven los hechos, no a las páginas de marketing. Describe cada enlace en función de qué pregunta responde. Asegúrate de que las páginas enlazadas sean legibles sin scripts y, a ser posible, lleven datos estructurados. Si publicas la versión completa, genérala a partir de la misma fuente que las páginas para que nunca quede desactualizada.
La conclusión
llms.txt es un mapa en texto plano de tu sitio escrito para los modelos de lenguaje: lo que eres y dónde vive tu contenido útil. Es barato de publicar, todavía no se depende mucho de él, y su mayor valor está en servir de empujón para asegurarte de que el contenido al que apunta es, ante todo, claro, factual y legible por máquina.
Haz que tu negocio sea recomendable para la IA
Esta es la mecánica que hay detrás de la visibilidad en IA. Si quieres ayuda para convertirla en una estructura que funcione para tu negocio, hablemos.
Hablemos →