La afirmación es simple: un modelo de 26 mil millones de parámetros (Gemma 4 26B) funcionando a unos 5 tokens por segundo en un procesador Xeon de aproximadamente 13 años, sin tarjeta gráfica. Es lento según los estándares de GPU, pero es una velocidad utilizable para trabajos por lotes, tareas en segundo plano e interacción donde no necesitas respuestas instantáneas.
Por qué importa: cuestiona la suposición de que necesitas hardware costoso y de última generación para ejecutar modelos locales capaces. La inferencia en CPU se apoya en la RAM del sistema en lugar de la escasa VRAM, y las máquinas servidoras antiguas son baratas en el mercado de segunda mano precisamente porque tienen muchos canales de memoria y núcleos. Si ya posees hardware antiguo, el costo marginal de experimentar con un modelo grande es prácticamente cero.
El habilitador práctico aquí es la cuantización. Ejecutar un modelo de 26B en CPU realísticamente significa usar una versión fuertemente comprimida (típicamente cuantizaciones GGUF de 4 bits o similares) a través de un entorno como llama.cpp u Ollama. La cuantización reduce la huella de memoria lo suficiente para caber en RAM ordinaria y disminuye la aritmética por token, lo que hace posible lograr velocidades de un solo dígito de tokens por segundo en hardware antiguo.
Qué puedes hacer con esto: recurre a la inferencia solo con CPU cuando la latencia no es crítica—resumen de documentos, redacción sin conexión, asistencia de código en un laboratorio casero, o un asistente privado que nunca envía datos a la nube. Cinco tokens por segundo es aproximadamente la velocidad de lectura para respuestas cortas, así que funciona para un usuario y es incómodo para cualquier cosa en tiempo real o multiusuario.
Para replicarlo, comienza con una compilación GGUF cuantizada de tu modelo objetivo, instala llama.cpp u Ollama, y ajusta el recuento de hilos para que coincida con tus núcleos físicos. Observa el ancho de banda de memoria: en Xeons más antiguos ese suele ser el verdadero cuello de botella, no la velocidad de reloj bruta, así que llenar todos los canales de memoria y usar la cuantización más pequeña que preserve la calidad es donde encontrarás tus ganancias.
La conclusión más amplia es que la barrera para ejecutar modelos locales grandes está bajando en el lado del software, no solo en el hardware. Antes de comprar una GPU, vale la pena hacer un benchmark de lo que tu máquina actual ya puede hacer—podrías descubrir que es suficiente para las cargas de trabajo que realmente tienes.