Argmax Lanza WhisperKit: Inferencia Ultrarrápida de Modelos de Voz en Apple Silicon con Core ML y Neural Engine
La firma Argmax ha liberado WhisperKit, un framework de inferencia de código abierto desarrollado específicamente para ejecutar la familia completa de modelos de reconocimiento de voz Whisper de OpenAI con aceleración extrema en procesadores Apple Silicon utilizando Core ML, Metal y el motor neuronal Apple Neural Engine (ANE).
Optimización Extrema de Modelos Whisper en Core ML
La transcripción de voz local en dispositivos cliente enfrenta limitaciones de latencia y consumo energético. Los puertos genéricos de Whisper en Python sobre CPU o implementaciones directas en GPU no aprovechan la arquitectura de memoria unificada ni los núcleos especializados de silicio de Apple. WhisperKit resuelve este cuello de botella recompilando los pesos del encoder y decoder de Whisper en modelos Core ML cuantizados a 4 y 8 bits (Palettization / Linear Quantization), diseñados a medida para maximizar el uso del Apple Neural Engine.
Como resultado, WhisperKit alcanza transcripciones en tiempo real con factores de aceleración de hasta 10x respecto a la velocidad de habla humana en un iPhone o Mac con chip M-series, manteniendo un consumo de energía mínimo que prolonga la duración de la batería durante grabaciones extensas.
Para acceder al código fuente, paquetes Swift y benchmarks de rendimiento en hardware, visite el repositorio oficial de WhisperKit en GitHub.
Integración Nativa en Swift y Soporte para Whisper Large v3 Turbo
WhisperKit se distribuye como un paquete nativo de Swift Package Manager (SPM), lo que permite a desarrolladores de iOS, macOS, watchOS y visionOS incorporar funciones de dictado por voz, subtitulación en tiempo real y traducción de audio multilingüe con apenas un puñado de líneas de código.
El framework incluye soporte inmediato para todas las variantes oficiales de Whisper, incluyendo Whisper Tiny, Base, Small, Medium y el reciente Whisper Large v3 Turbo, integrando además VAD (Voice Activity Detection) mediante Silero VAD para descartar automáticamente silencios antes de activar los módulos de decodificación neuronal.
