Avaliar Microsoft Foundry Model Router
Utilize o conjunto de ferramentas de avaliação do Microsoft para comparar Model Router com uma implantação direta de modelo nos prompts que a sua equipa realmente utiliza.
Executar a avaliação de exemplo
Compare o Model Router com uma referência fixa usando os dados de exemplo sintéticos da Microsoft. O seu browser calcula o resumo sem efectuar chamadas de modelo nem solicitar credenciais do Azure.
Microsoft Foundry Model Router seleciona um modelo elegível para cada pedido. O seu modo de encaminhamento influencia como equilibra qualidade e custo. O kit de avaliação automática de código aberto Model Router do Microsoft envia os mesmos prompts para o router e para uma referência fixa, depois reporta a qualidade das respostas, o custo estimado por token, a latência e quais modelos o router selecionou.
Comece com o relatório de exemplo
Siga o quickstart para gerar um painel de exemplo com dados sintéticos e sem credenciais Azure. Abra results/demo/dashboard.html e percorra os gráficos de qualidade, custo e latência. Os valores de exemplo ilustram o formato do relatório. quickstart do Microsoft
Avalie a sua carga de trabalho
- Escolha prompts representativos e aprovados. Inclua tarefas rotineiras, como resumir registos, tarefas mais difíceis, como explicar exceções, e exemplos de chamadas a ferramentas se a sua carga de trabalho depender delas. Use dados empresariais sintéticos ou redigidos.
- Configure a sua implantação Foundry Model Router e a implantação direta que utiliza atualmente como referência. Utilize uma implantação judge separada sempre que for prático. Confirme as tarifas de token configuradas para a sua região e implantações antes de interpretar as estimativas de custo.
- Execute primeiro uma pequena avaliação ao vivo. As execuções ao vivo geram chamadas faturáveis para os endpoints configurados. Mantenha o conjunto de dados, a referência, o judge e as definições de pedidos fixos ao comparar dois modos de encaminhamento.
Interprete os resultados por tarefa
- Qualidade. Use as pontuações do judge para identificar diferenças e, em seguida, reveja perdas e empates face aos seus critérios de aceitação. Verifique as tarefas críticas individualmente, incluindo se quaisquer chamadas a ferramentas exigidas e argumentos estavam corretos.
- Custo. Compare o custo estimado por token para o mesmo lote de prompts. Utilize a distribuição de modelos para ver quais modelos trataram o trabalho.
- Latência. Observe a mediana e o p95, o tempo de resposta que 95% dos pedidos medidos cumpriram ou superaram. As médias podem ocultar respostas lentas em tarefas complexas.
Utilize os resultados para a seleção de modelos do RapidClaw
Execute o kit de ferramentas separadamente no seu ambiente Azure. RapidClaw Setup implanta um plano de modelo direto verificado por defeito, e Command Center permite-lhe atribuir um modelo implantado por agente. Use o benchmark para decidir que modelos justificam um teste controlado com agentes. Nesse teste, verifique o fluxo de trabalho completo, incluindo permissões de conector, aprovações, chamadas a ferramentas e utilização observada.
Repositório de Autoavaliação Model Router · Documentação Microsoft Foundry Model Router