Saltar al contenido principal
RapidClaw

Evaluar Microsoft Foundry Model Router

Utilice el toolkit de evaluación de Microsoft para comparar Model Router con un despliegue de modelo directo en las indicaciones que su equipo realmente utiliza.

Ejecutar la evaluación de ejemplo

Compare Model Router con una línea base fija usando los datos de muestra sintéticos de Microsoft. Su navegador calcula el resumen sin realizar llamadas a modelos reales ni solicitar credenciales de Azure.

Microsoft Foundry Model Router selecciona un modelo elegible para cada solicitud. Su modo de enrutamiento influye en cómo equilibra calidad y coste. El toolkit de Auto Evaluación de código abierto de Microsoft para Model Router envía las mismas indicaciones al enrutador y a una línea base fija, y luego informa la calidad de las respuestas, el coste estimado de tokens, la latencia y qué modelos seleccionó el enrutador.

Comience con el informe de ejemplo

Siga el quickstart para generar un panel de ejemplo con datos sintéticos y sin credenciales de Azure. Abra results/demo/dashboard.html y revise los gráficos de calidad, coste y latencia. Los números de ejemplo ilustran el formato del informe. quickstart de Microsoft

Evalúe su propia carga de trabajo

  1. Elija indicaciones representativas y aprobadas. Incluya tareas rutinarias como resumir registros, tareas más complejas como explicar excepciones, y ejemplos de llamadas a herramientas si su carga de trabajo depende de ellas. Utilice datos empresariales sintéticos o redactados.
  2. Configure su despliegue Foundry Model Router y el despliegue directo que utilice hoy como línea base. Utilice un despliegue de juez separado cuando sea práctico. Confirme las tarifas de tokens configuradas para su región y despliegues antes de interpretar las estimaciones de coste.
  3. Ejecute primero una evaluación en vivo pequeña. Las ejecuciones en vivo generan llamadas facturables a los endpoints configurados. Mantenga fijos el conjunto de datos, la línea base, el juez y la configuración de solicitudes al comparar dos modos de enrutamiento.

Interprete los resultados por tarea

  • Calidad. Use las puntuaciones del juez para identificar diferencias, luego revise pérdidas y empates según sus propios criterios de aceptación. Compruebe las tareas críticas individualmente, incluyendo si las llamadas a herramientas requeridas y sus argumentos fueron correctos.
  • Coste. Compare el coste estimado de tokens para el mismo lote de indicaciones. Utilice la distribución de modelos para ver qué modelos realizaron el trabajo.
  • Latencia. Examine la mediana y la p95, el tiempo de respuesta que el 95% de las solicitudes medidas alcanzaron o superaron. Los promedios pueden ocultar respuestas lentas en tareas complejas.

Utilice los resultados para la selección de modelos de RapidClaw

Ejecute el toolkit por separado en su entorno Azure. RapidClaw Setup implementa por defecto un plan verificado de modelo directo, y Command Center le permite asignar un modelo desplegado por agente. Utilice la prueba comparativa para decidir qué modelos merecen una prueba controlada de agente. En esa prueba, verifique el flujo de trabajo completo, incluidas las permisos del conector, las aprobaciones, las llamadas a herramientas y el uso observado.

Repositorio de Auto Evaluación de Model Router · Documentación de Microsoft Foundry Model Router

Related products and guides