Google DeepMind anunció la liberación pública de Gemma Scope, una exhaustiva suite de autoencoders esparsos (SAEs) de código abierto diseñada para desentrañar el funcionamiento interno de los modelos fundacionales Gemma 2 de 2.000 y 9.000 millones de parámetros. Entrenada de forma exhaustiva sobre el flujo residual, las activaciones de capas perceptrón multicapa (MLP) y las cabezas de atención a lo largo de cada capa de la red, Gemma Scope actúa como un microscopio neural de alta resolución capaz de descomponer densas representaciones vectoriales en millones de características monosemánticas interpretables por humanos, facilitando la identificación precisa de circuitos neuronales asociados con engaño, sesgos culturales, alucinaciones factuales y riesgos de ciberseguridad.
Capítulo 01
La noticia en una frase
Google DeepMind libera Gemma Scope, una suite de autoencoders esparsos (SAEs) de pesos abiertos entrenada sobre todas las capas de Gemma 2 (2B y 9B) para descomponer estados internos en millones de conceptos interpretables.
En pruebas de reconstrucción de activaciones y fidelidad causal, los autoencoders JumpReLU de Gemma Scope lograron aislar más de 16 millones de conceptos latentes únicos manteniendo una pérdida de información inferior al 12% respecto al modelo denso original.
Capítulo 02
