Noticias IA — fuente primaria
Investigadores formulan la poda de capas en LLMs como un problema de espín de Ising reduciendo parámetros en 30%
Edición: Álvaro Maureira Fecha: Fuente: Hugging Face Blog
Científicos aplican conceptos de física estadística para identificar y eliminar bloques redundantes en transformadores masivos sin requerir reentrenamiento extensivo, preservando más del 98% de la precisión original.
Hechos verificados
- 01. Formulación matemática de la interacción entre capas residuales como un sistema ferromagnético de espines en un grafo de Ising.
- 02. Eliminación de entre un 25% y un 35% de los bloques de atención y MLP manteniendo la coherencia de razonamiento en benchmarks como MMLU y GSM8K.
- 03. Proceso de compresión completado en pocas horas en una sola máquina con GPUs estándar frente a semanas de entrenamiento de destilación.
Mecanismo técnico y arquitectura
La poda tradicional de modelos evalúa la magnitud de los pesos o la sensibilidad local de cada capa de forma aislada. El enfoque de Ising modela las dependencias no lineales entre capas distantes: eliminar la capa A puede ser perjudicial si se mantiene B, pero seguro si se elimina conjuntamente con C. Resolviendo el problema de optimización combinatoria global, se encuentra el subgrafo óptimo de capas supervivientes.
El resultado es un modelo físicamente más pequeño que cabe en una sola GPU con menos consumo de VRAM y con una aceleración directa de inferencia proporcional al número de bloques retirados, sin requerir kernels de cuantización especializados.
Implicancias estratégicas para la industria
Permite a pymes e investigadores correr modelos de 70B en hardware de consumo (ej. tarjetas de 24 GB de VRAM) sin degradación perceptible de calidad.
Demuestra el poder de la intersección entre física teórica y computación neuronal para desbloquear eficiencias algorítmicas de gran escala.
Fuente oficial y alcance de la verificación
Esta noticia fue extraída, contrastada y documentada directamente desde el canal oficial de Hugging Face Blog.
