Pular para o conteúdo principal
RapidClaw

Avalie Microsoft Foundry Model Router

Use o kit de avaliação de Microsoft para comparar Model Router com uma implantação direta de modelo nos prompts que sua equipe realmente utiliza.

Executar a avaliação de exemplo

Compare o Model Router com uma linha de base fixa usando os dados de exemplo sintéticos da Microsoft. Seu navegador calcula o resumo sem fazer chamadas de modelo ou solicitar credenciais do Azure.

Microsoft Foundry Model Router seleciona um modelo elegível para cada requisição. Seu modo de roteamento influencia como ele equilibra qualidade e custo. O kit de Avaliação Automática de Model Router, de código aberto de Microsoft, envia os mesmos prompts para o roteador e para uma linha de base fixa, em seguida relata a qualidade das respostas, o custo estimado de tokens, a latência e quais modelos o roteador selecionou.

Comece com o relatório de amostra

Siga o guia rápido para gerar um painel de amostra com dados sintéticos e sem credenciais Azure. Abra results/demo/dashboard.html e examine os gráficos de qualidade, custo e latência. Os números de exemplo ilustram o formato do relatório. guia rápido de Microsoft

Faça benchmark da sua própria carga de trabalho

  1. Escolha prompts representativos e aprovados. Inclua tarefas rotineiras, como resumir registros; tarefas mais difíceis, como explicar exceções; e exemplos de chamadas de ferramentas se sua carga de trabalho depender delas. Use dados comerciais sintéticos ou redigidos.
  2. Configure sua implantação Foundry Model Router e a implantação direta que você usa hoje como linha de base. Use uma implantação de juiz separada quando viável. Confirme as tarifas de tokens configuradas para sua região e implantações antes de interpretar as estimativas de custo.
  3. Execute primeiro uma pequena avaliação ao vivo. Execuções ao vivo geram chamadas faturáveis para os endpoints configurados. Mantenha o conjunto de dados, a linha de base, o juiz e as configurações de requisição fixos ao comparar dois modos de roteamento.

Interprete os resultados por tarefa

  • Qualidade. Use as pontuações do juiz para identificar diferenças, depois reveja perdas e empates segundo seus próprios critérios de aceitação. Verifique tarefas críticas individualmente, incluindo se quaisquer chamadas de ferramentas necessárias e argumentos estavam corretos.
  • Custo. Compare o custo estimado de tokens para o mesmo lote de prompts. Use a distribuição de modelos para ver quais modelos lidaram com o trabalho.
  • Latência. Observe a mediana e o p95, o tempo de resposta que 95% das requisições medidas alcançaram ou superaram. Médias podem ocultar respostas lentas em tarefas complexas.

Use os resultados para seleção de modelos do RapidClaw

Execute o kit separadamente em seu ambiente Azure. RapidClaw Setup implanta um plano de modelo direto verificado por padrão, e Command Center permite que você atribua um modelo implantado por agente. Use o benchmark para decidir quais modelos justificam um teste controlado com agentes. Nesse teste, verifique o fluxo de trabalho completo, incluindo permissões de conectores, aprovações, chamadas de ferramentas e uso observado.

Repositório de Avaliação Automática de Model Router · Documentação de Microsoft Foundry Model Router

Produtos e guias relacionados