Evaluer Microsoft Foundry Model Router
Bruk Microsoft's evalueringsverktøy for å sammenligne Model Router med en direkte modellutrulling på de promptene teamet ditt faktisk bruker.
Kjør prøveevalueringen
Sammenlign Model Router med en fast referanse ved hjelp av Microsofts syntetiske prøvedata. Nettleseren din beregner sammendraget uten å gjøre modellanrop eller be om Azure-legitimasjon.
Microsoft Foundry Model Router velger en egnet modell for hver forespørsel. Routing-modusen påvirker hvordan den avveier kvalitet og kostnad. Microsoft's åpen kildekode-Model Router Auto Evaluation-verktøy sender de samme promptene til routeren og en fast baseline, og rapporterer deretter responskvalitet, estimert tokenkostnad, latenstid og hvilke modeller routeren valgte.
Start med eksempelrapporten
Følg hurtigstarten for å generere et eksempel-dashboard med syntetiske data og uten Azure-legitimasjon. Åpne results/demo/dashboard.html og gå gjennom diagrammene for kvalitet, kostnad og latenstid. Eksempeltallene illustrerer rapportformatet. Microsoft's hurtigstart
Mål din egen arbeidsmengde
- Velg representative, godkjente prompts. Inkluder rutineoppgaver som å oppsummere poster, vanskeligere oppgaver som å forklare unntak, og eksempler på verktøroppringninger hvis arbeidsmengden din er avhengig av dem. Bruk syntetiske eller redigerte forretningsdata.
- Konfigurer din Foundry Model Router-utrulling og den direkte utrullingen du bruker i dag som baseline. Bruk en separat judge-utrulling der det er praktisk. Bekreft de konfigurerte tokenprisene for din region og utrullinger før du tolker kostnadsestimatene.
- Kjør først en liten live-evaluering. Live-kjøringer genererer fakturerbare kall til de konfigurerte endepunktene. Hold datasettet, baseline, judge, og forespørselsinnstillingene faste når du sammenligner to routing-moduser.
Les resultatene per oppgave
- Kvalitet. Bruk judge-scoreene for å identifisere forskjeller, og gå deretter gjennom tap og uavgjort i forhold til dine egne akseptkriterier. Sjekk kritiske oppgaver individuelt, inkludert om eventuelle nødvendige verktøroppringninger og argumenter var korrekte.
- Kostnad. Sammenlign den estimerte tokenkostnaden for samme batch med prompts. Bruk modelldistribusjonen for å se hvilke modeller som håndterte arbeidet.
- Latenstid. Se på medianen og p95, responstiden som 95% av målte forespørsler nådde eller slo. Gjennomsnitt kan skjule langsomme responser på komplekse oppgaver.
Bruk resultatene for RapidClaw modellvalg
Kjør verktøyet separat i ditt Azure-miljø. RapidClaw Setup distribuerer som standard en verifisert direkte-modell-plan, og Command Center lar deg tildele en distribuert modell per agent. Bruk benchmarken for å avgjøre hvilke modeller som fortjener en kontrollert agenttest. I den testen verifiser hele arbeidsflyten, inkludert connector-tillatelser, godkjenninger, verktøroppringninger og observert bruk.
Model Router Auto Evaluation-repositorium · Microsoft Foundry Model Router dokumentasjon