El titular es deliberadamente provocador: un modelo de 2.8 billones de parámetros generando salida en hardware de consumidor que no puede ni remotamente almacenarlo en memoria. El truco es arquitectónico, no mágico. En lugar de cargar todos los pesos en RAM o VRAM, el proyecto (deltafin) los transmite desde cuatro SSDs bajo demanda, alimentando el modelo capa por capa durante la inferencia. El resultado es funcional pero lento: alrededor de 1 token por segundo.
Por qué importa: redefine la restricción dura en la inferencia de modelos grandes. El cuello de botella habitual es la capacidad de memoria: simplemente no puedes ajustar un modelo de este tamaño en una laptop. Al tratar el almacenamiento SSD como un nivel más lento y extendido de la jerarquía de memoria, intercambias rendimiento por la capacidad de ejecutar algo que de otro modo sería imposible fuera de un centro de datos. Es la misma idea detrás de la descarga en herramientas como llama.cpp y DeepSpeed, llevada al extremo.
El límite práctico es la entrada/salida. Transmitir billones de parámetros por token significa que el ancho de banda del SSD y los patrones de lectura dominan el rendimiento, razón por la cual se usan cuatro unidades en paralelo y por qué la tasa de tokens se mantiene baja. Esta no es una configuración para chat interactivo. Es más útil para trabajos por lotes, experimentación sin conexión o verificar el comportamiento de un modelo de escala fronteriza cuando no tienes acceso a un clúster.
Para desarrolladores, la conclusión es una técnica que vale la pena entender incluso si nunca ejecutas un modelo de 2.8T en casa. La transmisión de pesos desde almacenamiento rápido es una palanca legítima para la accesibilidad: permite que equipos pequeños e investigadores independientes exploren modelos muy grandes sin alquilar nodos GPU costosos. Observa cómo maneja pesos cuantificados y si la precarga puede ocultar parte de la latencia de entrada/salida.
Si quieres probarlo, espera invertir en almacenamiento NVMe rápido y paciencia. Primero evalúa el rendimiento de tu propio disco, ya que eso —no la CPU o GPU— establecerá tu tasa de tokens realista. Trata 1 token por segundo como una prueba de concepto en lugar de un objetivo de producción, y úsalo para explorar lo que estos modelos pueden hacer en lugar de servir a usuarios.