Un agente de aprendizaje por refuerzo (punto naranja) cae en un laberinto sin mapa. Debe encontrar la meta +1 y evitar el pozo −1 puramente por ensayo y error, propagando Q(s,a) ← Q + α[r + γ·máx Q(s′,a′) − Q] tras cada paso que da. Observa cómo el «valor» se extiende hacia afuera desde la meta como un mapa de calor cálido, y cómo las flechas de la política voraz pasan del caos a un flujo coherente que apunta a casa — la imagen más icónica del aprendizaje por refuerzo (Watkins 1989).
Parámetros — cómo usarlos
α tasa de aprendizaje
Cuán grande es el bocado que cada paso da al error TD. Súbelo a 0.8 y el mapa de calor se rellena rápido pero parpadea y se sobrepasa; bájalo a 0.05 y el valor se filtra con suavidad pero despacio. Prueba a subirlo a mitad del proceso y observa cómo las flechas se vuelven nerviosas.
γ descuento
El mando de la visión de futuro — cuánto vale ahora una recompensa lejana. Ponlo en 0.80 y el valor decae bruscamente, apenas llegando a las esquinas lejanas (miope); ponlo en 0.99 y el brillo cálido inunda toda la rejilla. Barre el valor y observa desde qué distancia de la meta el agente aún se molesta en dirigirse a ella.
ε exploración
Probabilidad de que el agente ignore su mejor estimación y se mueva al azar. Bájala al 0 % cuando las flechas se hayan formado y el agente se aferra a su ruta actual — pero si empiezas desde reinicio al 0 % puede quedarse atascado tras un muro y no encontrar nunca la meta. Mantén ~20 % para que siga sondeando.
Velocidad
Pasos de aprendizaje simulados por segundo (5–400). Bájalo (~10) para ver un único episodio abrirse camino hasta la meta paso a paso; llévalo al máximo de 400 para quemar cientos de episodios y ver el indicador Éxito subir hacia el 100 % en segundos.
Flechas de política
Muestra/Oculta el glifo voraz ▲▼◀▶ en cada celda aprendida. Ponlo en Mostrar para ver cómo las flechas se reorganizan en un único flujo hacia +1 a medida que los valores se asientan; en Ocultar para leer el mapa de calor de valor desnudo y ver el frente de expansión por sí solo.
En qué fijarse
El mapa de calor inunda hacia afuera desde la meta naranja +1; las flechas nunca deberían apuntar al pozo −1 desde un vecino seguro una vez que el aprendizaje se asienta. El indicador Éxito es la tasa de victorias de los últimos 50 episodios, y la gráfica «Retorno / episodio» remonta cuando el agente deja de vagar y empieza a ir al grano — la línea de «está aprendiendo». Un pequeño coste de vida (−0.02/paso) favorece discretamente las rutas más cortas.