Qué es una ventana de contexto y por qué limita tu IA
Cada conversación con un modelo de lenguaje ocurre dentro de una caja de tamaño fijo. Todo lo que el modelo puede considerar a la vez, tu pregunta, las instrucciones, los documentos que hayas aportado y la conversación hasta ese momento, tiene que caber dentro de esa caja. La caja se llama ventana de contexto, y moldea en silencio lo que la IA puede y no puede hacer por ti.
La versión breve
Un modelo de lenguaje no tiene memoria como la tiene una persona. No recuerda lo de ayer, ni siquiera el comienzo de una conversación larga, salvo que ese material se le vuelva a poner delante. La ventana de contexto es la cantidad de texto que puede mantener a la vista a la vez. Si algo está dentro de la ventana, el modelo puede usarlo. Si algo está fuera, para el modelo no existe.
Qué tamaño tiene la caja
Las ventanas de contexto se miden en tokens, las pequeñas piezas de texto que el modelo lee de verdad. Una regla aproximada es que mil tokens equivalen a unas setecientas cincuenta palabras. Los primeros modelos sostenían unos pocos miles de tokens, más o menos un artículo corto. Los modelos actuales sostienen cientos de miles, suficiente para un libro largo. Ese crecimiento es un progreso real, pero el límite nunca desaparece, y más grande no es automáticamente mejor.
Qué pasa cuando se llena
Cuando una conversación o un documento es más largo que la ventana, algo tiene que ceder. Lo primero que suele descartarse es el material más antiguo. Por eso un chat largo puede parecer que olvida lo que dijiste al principio. El modelo no cambió de opinión. El principio simplemente se salió de la caja.
Los sistemas que leen documentos lo resuelven no cargándolo todo. Dividen el material en fragmentos y traen solo los fragmentos relevantes para la pregunta, que es la idea básica detrás de la generación aumentada por recuperación. La ventana de contexto es la razón de que exista la recuperación. Si el modelo pudiera sostenerlo todo, no haría falta elegir qué mostrarle.
Ventanas más grandes, el mismo problema
Incluso cuando una ventana es lo bastante grande para sostener un documento, llenarla hasta el borde tiene costes. Procesar más tokens lleva más tiempo y cuesta más. Y los modelos tienden a prestar menos atención al material enterrado en medio de una entrada muy larga, una debilidad que a veces se llama perderse en el medio. Un dato colocado en la página cuarenta de un volcado de sesenta páginas puede estar técnicamente dentro de la ventana y aun así pasar desapercibido.
Así que el objetivo práctico no es atiborrar la ventana. Es poner dentro el material adecuado, en una forma que el modelo pueda usar, y dejar fuera el resto.
Por qué esto importa para cómo escribes
La ventana de contexto es la razón por la que la claridad y la granularidad importan tanto cuando la IA lee sobre tu negocio. Un sistema que responde una pregunta sobre ti tiene un presupuesto de atención limitado. Traerá un puñado de pasajes, no tu sitio entero. Si tu horario de apertura, tu política de cancelación y los detalles de tu aparcamiento se enuncian con claridad cada uno en su propio pasaje breve, el adecuado puede seleccionarse y encajarse en la ventana limpiamente. Si están entretejidos a lo largo de una página larga, el sistema o bien arrastra mucho más de lo que necesita, desplazando otros datos, o bien agarra un fragmento al que le falta la parte que importaba.
La conclusión
Piensa en la ventana de contexto como el escritorio del modelo. Es un escritorio de buen tamaño, pero todo tiene que caber en él, y lo que queda cerca de los bordes recibe menos atención. Tu tarea, como alguien que quiere que la IA lo entienda, es hacer que cada dato importante sea lo bastante pequeño y lo bastante claro como para posarse en ese escritorio por sí solo.
Haz que tu negocio sea recomendable para la IA
Esta es la mecánica que hay detrás de la visibilidad en la IA. Si quieres ayuda para convertirla en una estructura que funcione para tu negocio, hablemos.
Hablemos →