Ocenite Microsoft Foundry Model Router
Uporabite orodja za ocenjevanje Microsoft, da primerjate Model Router z neposredno nameščeno različico modela na pozivih, ki jih vaša ekipa dejansko uporablja.
Zaženite vzorčno oceno
Primerjajte Model Router s fiksno osnovno različico z uporabo sintetičnih vzorčnih podatkov Microsoft. Vaš brskalnik izračuna povzetek brez dejanskih klicev modelov ali zahtev po poverilnicah Azure.
Microsoft Foundry Model Router izbere primeren model za vsak zahtevek. Njegov način usmerjanja vpliva na to, kako uravnava kakovost in stroške. Odprtokodni samodejni evalvacijski paket Model Router iz Microsoft pošlje iste pozive usmerjevalniku in fiksni osnovni različici, nato pa poroča o kakovosti odgovorov, ocenjenih stroških žetonov, zakasnitvi in o tem, katere modele je usmerjevalnik izbral.
Začnite z vzorčnim poročilom
Sledite hitremu začetku, da ustvarite vzorčno nadzorno ploščo s sintetičnimi podatki in brez poverilnic Azure. Odprite results/demo/dashboard.html in preglejte grafikone kakovosti, stroškov in zakasnitve. Vzorčna števila ponazarjajo obliko poročila. Hitri začetek za Microsoft
Primerjajte svojo delovno obremenitev
- Izberite reprezentativne, odobrene pozive. Vključite rutinska opravila, kot je strnitev zapisov, zahtevnejša opravila, kot je pojasnjevanje izjem, in primere klicev orodij, če je vaša delovna obremenitev od njih odvisna. Uporabite sintetične ali anonimizirane poslovne podatke.
- Konfigurirajte svojo Foundry Model Router namestitev in neposredno namestitev, ki jo danes uporabljate, kot referenco. Kjer je mogoče, uporabite ločeno ocenjevalno (judge) namestitev. Pred interpretacijo ocen stroškov potrdite nastavljene stopnje žetonov za vašo regijo in namestitve.
- Najprej izvedite majhno živo ocenjevanje. Živi zagoni ustvarjajo zaračunljive klice na konfigurirane končne točke. Ko primerjate dva načina usmerjanja, obdržite nespremenjen nabor podatkov, referenco, ocenjevalca in nastavitve zahtevkov.
Preberite rezultate po nalogah
- Kakovost. Uporabite ocene ocenjevalca, da prepoznate razlike, nato preglejte izgube in neodločenosti glede na vaše kriterije sprejemanja. Preverite kritične naloge posamezno, vključno s tem, ali so bili zahtevani klici orodij in njihovi argumenti pravilni.
- Stroški. Primerjajte ocenjene stroške žetonov za isti paket pozivov. Uporabite porazdelitev modelov, da vidite, kateri modeli so obravnavali delo.
- Zakasnitev. Oglejte si mediano in p95, čas odziva, ki ga je 95 % izmerjenih zahtevkov doseglo ali presežalo. Povprečja lahko prikrijejo počasne odzive pri kompleksnih nalogah.
Uporabite rezultate za izbiro modela RapidClaw
Zaženite orodje ločeno v vašem okolju Azure. RapidClaw Setup privzeto namešča preverjen načrt neposrednega modela, in Command Center vam omogoča dodelitev nameščenega modela za vsakega agenta. Uporabite primerjavo, da se odločite, kateri modeli upravičujejo kontroliran test agenta. V tem testu preverite celoten delovni potek, vključno z dovoljenji konektorjev, odobritvami, klici orodij in opaženo rabo.
Repozitorij za samodejno ocenjevanje Model Router · Dokumentacija za Microsoft Foundry Model Router