Glosario de IA
¿Qué es un transformer en IA?
El transformer es la arquitectura de red neuronal detrás de casi todos los LLM actuales. Su pieza clave, la atención, relaciona cada token con todos los demás.
Se presentó en 2017, en un paper de investigadores de Google titulado «Attention Is All You Need». Hasta ahí, los modelos de lenguaje leían el texto de a una palabra por vez y les costaba recordar lo que había quedado lejos.
El mecanismo de atención hace que, para procesar cada token, el modelo mire todos los demás y decida cuánto pesa cada uno. Así entiende que en «el perro no cruzó la calle porque estaba cansado», el que estaba cansado es el perro. Y como procesa los tokens en paralelo, se puede entrenar en GPUs a una escala que antes no era posible.
La T de GPT viene de ahí: Generative Pre-trained Transformer.
Un ejemplo
Claude, GPT, Gemini y Llama son, por dentro, transformers con distinto tamaño, distintos datos y distintos ajustes.