Glosario de IA
¿Qué es la ventana de contexto?
La ventana de contexto es la cantidad máxima de tokens que un modelo puede tener en cuenta a la vez: tu mensaje, la conversación, los documentos y su respuesta.
Funciona como la memoria de trabajo del modelo en una conversación. Todo lo que entra en la ventana lo puede usar; lo que queda afuera, para el modelo no existe.
Se mide en tokens, no en palabras ni en mensajes. Los modelos actuales tienen ventanas de cientos de miles de tokens, y algunos llegan al millón. Pero que algo entre no garantiza que el modelo le preste la misma atención a todo: en textos muy largos, los detalles del medio se pueden perder.
Cuando una conversación pasa el límite, la aplicación tiene que recortar o resumir lo más viejo. Por eso un chat largo a veces «se olvida» de algo que le dijiste al principio.
Un ejemplo
Si pegás un contrato muy largo y no entra en la ventana, el modelo va a responder sin haber leído una parte.