Un agente repite el mismo ensayo de condicionamiento una y otra vez: aparece una SEÑAL y luego cae una RECOMPENSA con un retraso fijo. Mantiene una estimación de valor V para cada momento del ensayo y calcula el error de diferencia temporal δ = r + γV(s′) − V(s) — la sorpresa entre lo que ahora espera y lo que esperaba un paso antes. Este δ se comporta exactamente como la dopamina fásica (Schultz–Dayan–Montague 1997): en pantalla ves cómo el estallido de error migra hacia atrás, ensayo a ensayo, desde la recompensa hasta la señal que la predice.
Parámetros — cómo usarlos
Ensayo ›
Ejecuta exactamente un ensayo (activo solo en pausa). Pausa y avanza ensayo a ensayo para ver cómo el pico positivo de δ se desliza un paso temporal a la izquierda en cada ensayo, mientras el valor V retropropaga desde la recompensa hacia la señal.
Omitir recompensa
Salta la recompensa en el próximo ensayo — la demo definitiva. Tras el aprendizaje (δ en la recompensa ≈ 0), púlsalo y observa cómo δ cae en picado por debajo de la línea de base en el momento de la recompensa: la «caída» dopaminérgica por una recompensa prevista pero ausente.
α tasa
Tasa de aprendizaje (0.02–0.6): con qué fuerza cada ensayo empuja V hacia la consistencia. Un α bajo aprende lento pero con suavidad; pásalo de ~0.5 y V se sobrepasa, de modo que δ oscila en vez de asentarse limpiamente a cero en el momento de la recompensa.
γ descuento
Factor de descuento (0.8–1.0): hasta dónde se propaga el valor hacia atrás en el tiempo. Cerca de 1 la rampa de valor se mantiene casi plana a lo largo del hueco señal→recompensa y el error se transfiere nítidamente a la señal; bájalo a ~0.8 y V decae bruscamente al retroceder desde la recompensa.
Instante de la señal
Paso temporal en el que aparece la señal predictiva (limitado por debajo del instante de la recompensa). El valor no puede existir antes de la señal, así que aquí es donde se detiene la marcha hacia atrás de δ — muévelo antes para alargar el retraso señal→recompensa que el agente debe salvar.
Instante de la recompensa
Paso temporal en el que cae la recompensa (limitado a después de la señal). El hueco entre Instante de la señal e Instante de la recompensa es el retraso de condicionamiento; ensánchalo y observa cómo el error necesita más ensayos para recorrer todo el camino de vuelta a la señal.
Velocidad
Ritmo de ejecución automática en ensayos por segundo (1–20). Lento (~1) para estudiar ensayos individuales y el marcador de paso en movimiento; rápido (~20) para adelantar hasta el estado estacionario ya entrenado, donde δ se ha desplazado por completo a la señal.
En qué fijarse
Las barras azules son la estimación de valor V(t) creciendo hacia arriba desde la línea de base; las barras naranjas/rojas son δ — el error de predicción de recompensa tipo dopamina — por encima (sorpresa positiva) o por debajo (negativa) de la línea. Al principio el estallido naranja está en RECOMPENSA; al completarse el aprendizaje se desvanece ahí y surge en SEÑAL. La gráfica «Error de predicción» sigue δ-en-recompensa (naranja) y δ-en-señal (azul) a lo largo de los ensayos — observa cómo se cruzan cuando el error de recompensa decae a cero y el error de señal crece.