Mira cómo aprende un agente
Al principio se agita y el péndulo cae en un segundo. Déjalo en marcha: con nada más que una recompensa de +1 por paso y prueba y error, el agente descubre cómo equilibrarlo — y la curva de aprendizaje supera la línea de «resuelto». Arrastra velocidad para acelerar el entrenamiento y luego pulsa «ver greedy» para ver su mejor política con la exploración desactivada.
Resumen
El carro solo puede empujar a izquierda o derecha. Equilibrar el péndulo es un problema de control sin manual evidente: el agente tiene que descubrir la política puramente a partir de las consecuencias de sus acciones.
Metodología
Q-learning tabular sobre un estado discretizado: Q(s,a) ← Q + α[r + γ·maxₐ′Q(s′,a′) − Q], con exploración ε-greedy que decae a medida que gana confianza. La física es la del clásico cart-pole (Barto–Sutton–Anderson, 1983).
Aplicaciones
Robótica y locomoción, control de procesos y de tráfico, agentes que juegan, recomendación, y el aprendizaje guiado por recompensa que se cree que subyace a la señalización dopaminérgica del cerebro.