La conclusión práctica: si un modelo que obtiene buenos resultados en benchmarks se siente lento o superficial en tu hardware, el problema casi siempre es la configuración, no los pesos. Antes de concluir que el modelo es débil, audita las capas que lo rodean — cómo está cuantizado, cuánto contexto realmente ve, y cuáles son los parámetros de muestreo que tu entorno de ejecución usa por defecto.
La cuantización es el asesino de calidad más común. Reducir un modelo a un formato de 4 bits o menor ahorra memoria pero puede erosionar notablemente el razonamiento y el seguimiento de instrucciones. Si tienes VRAM disponible, sube a una cuantización de mayor precisión (Q5, Q6 o Q8) y compara los resultados en los mismos prompts. La diferencia suele ser mayor de lo que la gente espera, especialmente para tareas que requieren lógica multietapa o formato preciso.
El manejo del contexto es la segunda trampa. Muchas configuraciones locales truncan silenciosamente la ventana de contexto o usan una ventana más pequeña de la que el modelo soporta, por lo que las instrucciones y documentos anteriores se pierden. Verifica que tu entorno de ejecución esté cargando la longitud de contexto completa que crees que tiene, y ten cuidado con herramientas que descartan silenciosamente el historial para ahorrar memoria. Un modelo que "olvida" lo que le dijiste hace tres mensajes generalmente no está olvidando — simplemente no está recibiendo la entrada.
Los parámetros de muestreo importan tanto como todo lo demás. Una temperatura agresiva, un top-p mal calibrado o una penalización de repetición demasiado alta pueden hacer que un modelo capaz produzca texto vago, divagante o repetitivo. Comienza siendo conservador — temperatura más baja para trabajo factual o de codificación — y cambia un parámetro a la vez para que puedas ver qué hace cada uno. Muchas interfaces vienen con valores predeterminados optimizados para charla creativa, no para precisión.
Qué hacer con esto: configura un pequeño conjunto fijo de prompts de prueba que reflejen tu carga de trabajo real, luego varía un factor — nivel de cuantización, longitud de contexto, temperatura — y registra los resultados. Esto convierte "se siente tonto" en observaciones medibles. En la mayoría de los casos descubrirás que ya tienes un modelo fuerte; simplemente no lo estabas alimentando o leyendo correctamente.