La atención, visualizada
El mecanismo detrás de cada modelo de lenguaje moderno. Cada token hace una pregunta (su query), la compara con lo que ofrece cada uno de los demás tokens (su key) y recibe a cambio una mezcla ponderada de sus valores. Haz clic en un token, o mira el barrido, para ver hacia dónde fluye la atención.
Resumen
El brillo de cada haz indica con qué intensidad el token de consulta activo atiende a otro. Cambia de cabezal para ver la misma frase leída a través de relaciones distintas: la atención son muchas lentes en paralelo, no una sola.
Metodología
Atención de producto escalar escalado: pesos = softmax(QKᵀ/√dₖ), aplicada por cabeza, con codificaciones posicionales sinusoidales. Los pesos de proyección aquí son ilustrativos (sin entrenar): es la forma del mecanismo, no lingüística aprendida.
Aplicaciones
El Transformer (Vaswani et al., 2017): la arquitectura detrás de los grandes modelos de lenguaje, la traducción automática, el plegamiento de proteínas y la visión por computadora moderna.