Glosario de IA
¿Qué es un token en IA?
Un token es el pedacito de texto con el que trabaja un modelo de lenguaje: una palabra, parte de una palabra o un signo. Con tokens se miden el contexto y el costo.
Un modelo de lenguaje no lee letras ni palabras enteras. Antes de procesar un texto, un tokenizador lo corta en tokens: una palabra corta y común suele ser un solo token, una larga o rara se parte en varios, y los signos y los espacios también cuentan.
Importan por tres razones. El modelo genera su respuesta de a un token por vez, eligiendo uno entre los más probables. La ventana de contexto, lo máximo que puede tener en cuenta a la vez, se mide en tokens. Y las APIs de IA cobran por token, separando los de entrada (lo que mandás) de los de salida (lo que responde), que suelen costar más.
Como regla aproximada, en inglés un token equivale a unos cuatro caracteres. En español el mismo texto suele necesitar algunos tokens más, porque los tokenizadores se armaron sobre todo con texto en inglés.
Un ejemplo
«la» es un solo token, mientras que «inteligencia» puede partirse en dos o tres. La cuenta exacta depende del tokenizador de cada modelo.