Notas desded3ntrode los modelos

Llevo semanas mirando qué pasa dentro de un modelo de 7B cuando resuelve problemas de aritmética. En muchas trazas aparece una frase del tipo «espera, déjame comprobarlo», seguida de una corrección. Parece razonamiento. La pregunta es si el modelo corrige algo o solo representa que corrige.^[1]

Qué medimos

Leemos la respuesta final desde el flujo residual $x_\ell$ en cada posición, con una sonda lineal $p(y \mid x_\ell) = \mathrm{softmax}(W x_\ell)$ entrenada aparte (Alain y Bengio, 2016). Si el modelo de verdad revisa, la respuesta debería aparecer después del «espera».

La respuesta es legible varios tokens antes de la duda. El texto de revisión llega tarde.

El modelo no duda: interpreta a alguien que duda.