Spring til hovedindhold
RapidClaw

Evaluer Microsoft Foundry Model Router

Brug Microsoft's evalueringsværktøj til at sammenligne Model Router med en direkte modelimplementering på de prompts, dit team rent faktisk bruger.

Kør prøveevalueringen

Sammenlign Model Router med en fast baseline ved hjælp af Microsofts syntetiske prøve data. Din browser beregner oversigten uden at foretage modelkald eller anmode om Azure-legitimationsoplysninger.

Microsoft Foundry Model Router vælger en egnet model for hver anmodning. Dets routing-tilstand påvirker, hvordan det afvejer kvalitet og omkostninger. Microsoft's open-source Model Router Auto Evaluation-værktøj sender de samme prompts til routeren og en fast baseline, og rapporterer derefter svarernes kvalitet, estimerede tokenomkostninger, latenstid og hvilke modeller routeren valgte.

Start med eksempelrapporten

Følg quickstarten for at generere et eksempel-dashboard med syntetiske data og uden Azure-legitimationsoplysninger. Åbn results/demo/dashboard.html og gennemse diagrammerne for kvalitet, omkostninger og latenstid. Eksempeltallene illustrerer rapportformatet. Microsoft's hurtigstart

Benchmark din egen arbejdsbelastning

  1. Vælg repræsentative, godkendte prompts. Inkluder rutineopgaver som at opsummere poster, sværere opgaver som at forklare undtagelser, og eksempler på værktøropskald hvis din arbejdsbelastning afhænger af dem. Brug syntetiske eller redigerede forretningsdata.
  2. Konfigurer din Foundry Model Router-implementering og den direkte implementering, du bruger i dag, som baseline. Brug en separat judge-implementering hvor det er praktisk. Bekræft de konfigurerede token-takster for din region og implementeringer, før du fortolker omkostningsestimaterne.
  3. Kør først en lille live-evaluering. Live-kørsler foretager fakturerbare kald til de konfigurerede endpoints. Hold datasættet, baseline, judge og anmodningsindstillingerne faste, når du sammenligner to routing-tilstande.

Læs resultaterne efter opgave

  • Kvalitet. Brug judge-scorerne til at identificere forskelle, og gennemgå derefter tab og uafgjorte i forhold til dine egne acceptkriterier. Tjek kritiske opgaver individuelt, inklusive om nødvendige værktøropskald og argumenter var korrekte.
  • Omkostninger. Sammenlign de estimerede tokenomkostninger for den samme batch af prompts. Brug modelfordelingen til at se, hvilke modeller håndterede arbejdet.
  • Latenstid. Se på medianen og p95, responstiden som 95% af de målte anmodninger nåede eller var hurtigere end. Gennemsnit kan skjule langsomme svar ved komplekse opgaver.

Brug resultaterne til modelvalg i RapidClaw

Kør værktøjet separat i dit Azure-miljø. RapidClaw Setup udruller som standard en verificeret direkte-model-plan, og Command Center lader dig tildele en udrullet model pr. agent. Brug benchmarken til at afgøre, hvilke modeller der berettiger en kontrolleret agenttest. I den test skal du verificere hele workflowet, inklusiv connector-tilladelser, godkendelser, værktøropskald og observeret brug.

Model Router Auto Evaluation-arkiv · Microsoft Foundry Model Router dokumentation

Relaterede produkter og vejledninger