El laboratorio chino de inteligencia artificial DeepSeek presentó DeepSeek-V3, un modelo fundacional de lenguaje de escala masiva con 671 mil millones de parámetros totales en arquitectura Mixture-of-Experts (MoE), de los cuales activa únicamente 37 mil millones por cada token procesado. DeepSeek-V3 introduce una combinación revolucionaria de innovaciones arquitectónicas —incluyendo Multi-Head Latent Attention (MLA) para comprimir drásticamente el espacio de memoria del KV cache, un marco de paralelismo de tuberías DualPipe con solapamiento completo entre cómputo y comunicaciones inter-GPU, y un protocolo de entrenamiento con precisión mixta en formato FP8 nativo— que permitió completar su entrenamiento sobre 14,8 billones de tokens con un costo computacional de apenas 5,58 millones de dólares, desafiando frontalmente la economía multimillonaria de los modelos de frontera cerrados.
Capítulo 01
La noticia en una frase
DeepSeek lanza DeepSeek-V3, modelo MoE de 671B con 37B activos por token, Multi-Head Latent Attention y entrenamiento en FP8 con costo ultraeficiente.
En evaluaciones estandarizadas sobre razonamiento matemático, generación de código y conocimiento general (MMLU-Redux, HumanEval, MATH-500), DeepSeek-V3 igualó o superó el desempeño de Claude 3.5 Sonnet y GPT-4o, posicionándose como el modelo de pesos abiertos más potente del ecosistema global con una velocidad de inferencia de más de 60 tokens por segundo en clusters optimizados.
Capítulo 02
