El problema central no es que las empresas carezcan de suficientes pruebas, sino que las que realizan no reflejan lo que sucede en producción. Una encuesta de VentureBeat Pulse de junio de 2026 entre 157 organizaciones (más de 100 empleados) encontró que el 50% implementó un agente o característica de LLM en el último año que pasó evaluaciones internas y luego causó un fallo visible para los clientes. Una cuarta parte lo experimentó más de una vez. Solo el 36% reportó un historial sin problemas. Las evaluaciones están aprobando agentes que no están listos, y la mayoría de los equipos no se enteran hasta que un cliente lo descubre.
La confianza en la evaluación automatizada es prácticamente inexistente. Solo el 5% de los encuestados dice confiar plenamente en sus evaluaciones automatizadas hoy. La queja más común —citada por el 29%— es que las evaluaciones se alinean mal con los resultados del mundo real. La inconsistencia y el sesgo (21%) y la falta de explicabilidad (18%) les siguen. En otras palabras, las herramientas destinadas a certificar agentes no están certificadas en sí mismas. Los desarrolladores deben tratar una puntuación de evaluación aprobatoria como una condición necesaria, no suficiente, y diseñar su proceso de lanzamiento en consecuencia.
A pesar de esto, el techo de autonomía está subiendo rápidamente. Dos tercios de las organizaciones ya permiten implementación sin intervención humana para agentes de bajo riesgo (34%) o están construyendo activamente canalizaciones para habilitarlo en los próximos doce meses (33%). Las empresas más grandes están ligeramente adelantadas en este camino, contrario a lo que muchos asumen. El mecanismo es directo y preocupante: a medida que la revisión humana se elimina del ciclo de implementación, la carga se traslada completamente a evaluaciones que la mayoría de los equipos admite abiertamente que no confían.
El panorama de herramientas empeora esto. La herramienta de evaluación primaria más común son las evaluaciones nativas de proveedores de OpenAI o Anthropic —empatadas al 17% cada una— con no tener herramientas de evaluación dedicadas. Especialistas independientes como DeepEval, Braintrust, LangSmith y Arize tienen cada uno participaciones de un solo dígito a bajo doble dígito. Solo alrededor de una cuarta parte de las organizaciones ejecuta controles de calidad en tiempo real en el tráfico de producción en vivo; la mayoría monitorea disponibilidad y latencia pero no si las respuestas del agente son realmente correctas. Una respuesta confiadamente incorrecta es invisible para el monitoreo de infraestructura.
¿Hacia dónde va el dinero a continuación? La observabilidad de producción lidera la inversión planificada, seguida por flujos de revisión humana al 26% —más que el 16% que planea ampliar canalizaciones de evaluación automatizada. Esta es la contradicción más marcada del informe: las mismas organizaciones que eliminan humanos de decisiones de implementación están presupuestando simultáneamente para agregar más revisores humanos. Se están cubriendo, lo cual es racional dado el vacío, pero no es una solución a largo plazo. El 64% también planea adoptar una plataforma de evaluación nueva o de reemplazo en los próximos doce meses, señalando que la capa de herramientas actual está a punto de consolidarse alrededor de quien pueda demostrar alineación con el mundo real.
¿Qué deberían hacer realmente los desarrolladores? Primero, rastrear la tasa de fallos de evaluación a producción como una métrica de primera clase —si la mitad de tus pares ya implementó un agente falsamente aprobado, necesitas saber si estás en ese grupo. Segundo, agregar monitoreo de calidad de salida a producción, no solo verificaciones de disponibilidad; una solicitud que se completa rápidamente con una respuesta incorrecta es un fallo silencioso. Tercero, antes de extender la autonomía de cualquier agente, audita si tu suite de evaluación realmente cubre los modos de fallo que has visto en producción, no solo los que son fáciles de probar. Más evaluaciones no cerrarán esta brecha —evaluaciones que reflejen la realidad sí lo harán.