DeepSeek R1: Controversia y Adaptación

DeepSeek R1 se encuentra en el punto de mira por el posible uso de datos robados a OpenAI, pero esto no ha impedido a Microsoft dar forma a una versión recortada y adaptada para poder funcionar sin problemas en PCs Copilot+ equipados con NPUs con una potencia de al menos 40 TOPs.

Detalles de la Versión Optimizada

Esa versión de DeepSeek R1 está configurada con 1.500 millones de parámetros, una cifra que no está nada mal teniendo en cuenta sus exigencias a nivel de hardware, y que funcionará totalmente en local. De momento esta versión estará disponible primero para equipos basados en los SoCs Snapdragon X de Qualcomm, y más adelante llegará a portátiles configurados con Intel Lunar Lake y AMD Ryzen AI Serie 300.

Importancia de la NPU

La NPU es clave porque es capaz de ofrecer una relación potencia-consumo muy buena. Esa eficiencia, y lo asequible que resulta su implementación tanto a nivel de costes como de espacio interno, han sido las razones por las que Microsoft ha decidido convertirla en el centro de su ecosistema Copilot+.

Optimización y Desempeño

Para crear esa versión de DeepSeek R1, Microsoft explica que ha separado el modelo original en varias partes para conseguir el mejor resultado posible en términos de rendimiento y eficiencia. También ha apostado por una cuantificación de baja tasa de bits y mapeo de transformadores a la NPU. Para escalarlo utilizaron Windows Copilot Runtime (WCR) con el formato ONNX QDQ.

Arquitectura del Modelo

Este modelo de 1.500 millones de parámetros consta de un tokenizador, una capa de integración, un modelo de procesamiento de contexto, un modelo de iteración de token, un cabezal de modelo de lenguaje y un des-tokenizador. Utiliza un bloque de cuantificación de 4 bits para integraciones y cabezal del modelo de lenguaje, y las operaciones pesadas de acceso a la memoria se ejecutan en la CPU.

Optimización en NPU

La mayor parte de las optimizaciones a nivel de NPU se han centrado en el bloque de transformación, que tienen el procesador de contexto y la iteración de tokens. Se utiliza INT4 por canal de cuantificación, y precisión mixta selectiva junto con activaciones INT16. La operatividad entre CPU y NPU también se ha optimizado para conseguir la mejor relación entre rendimiento y consumo.

Disponibilidad y Futuras Versiones

Microsoft ha confirmado que también han optimizado el consumo de memoria de este modelo, y que más adelante llegarán versiones con 7.000 millones y 15.000 millones de parámetros. El modelo de 1.500 millones de parámetros optimizado para Copilot+ ya se puede descargar y ejecutar en cualquier PC compatible. Podéis conseguirlo a través de este enlace.