Praleisti prie pagrindinio turinio
RapidClaw

Įvertinkite Microsoft Foundry Model Router

Naudokite Microsoft vertinimo įrankių rinkinį, kad palygintumėte Model Router su tiesioginiu modelio diegimu pagal užklausas, kurias jūsų komanda iš tikrųjų naudoja.

Paleiskite pavyzdinį vertinimą

Palyginkite Model Router ir fiksuotą etaloną naudodami Microsoft sintetinius pavyzdinius duomenis. Jūsų naršyklė apskaičiuoja santrauką nesiųsdama modelio užklausų ir neieškodama Azure kredencialų.

Microsoft Foundry Model Router parenka tinkamą modelį kiekvienam užklausai. Jo maršrutizavimo režimas įtakoja, kaip jis subalansuoja kokybę ir kainą. Microsoft atviro kodo Model Router Auto Evaluation įrankių rinkinys siunčia tas pačias užklausas maršrutizatoriui ir fiksuotai pagrindinei sistemai, po to pateikia ataskaitą apie atsakymų kokybę, apskaičiuotas žetonų sąnaudas, vėlavimą ir kuriuos modelius maršrutizatorius pasirinko.

Pradėkite nuo pavyzdinės ataskaitos

Vadovaukitės greito paleidimo vadovu, kad sukurtumėte pavyzdinę informacijos suvestinę su sintetiniu duomenų rinkiniu ir be Azure kredencialų. Atidarykite results/demo/dashboard.html ir peržiūrėkite kokybės, sąnaudų ir vėlavimo diagramas. Pavyzdinės reikšmės iliustruoja ataskaitos formatą. Microsoft greito paleidimo vadovas

Atlikite etaloninį testą savo darbo krūviui

  1. Pasirinkite reprezentatyvias, patvirtintas užklausas. Įtraukite rutinines užduotis, tokias kaip įrašų santraukos, sudėtingesnes užduotis, pvz., išimčių aiškinimą, ir įrankių kvietimų pavyzdžius, jei jūsų darbo krūvis yra nuo jų priklausomas. Naudokite sintetinius arba redaguotus įmonės duomenis.
  2. Sukonfigūruokite savo Foundry Model Router diegimą ir tiesioginį diegimą, kurį naudojate šiandien, kaip etaloną. Kai įmanoma, naudokite atskirą teisėjo diegimą. Prieš aiškindami sąnaudų įverčius, patvirtinkite konfigūruotus žetonų tarifus jūsų regione ir diegimuose.
  3. Pirmiausia paleiskite nedidelį tiesioginį įvertinimą. Tiesioginiai vykdymai sukuria mokamus skambučius į sukonfigūruotus galinius taškus. Lygindami du maršrutizavimo režimus, laikykite duomenų rinkinį, etaloną, teisėją ir užklausų nustatymus nepakitusius.

Peržiūrėkite rezultatus pagal užduotį

  • Kokybė. Naudokite teisėjo balus skirtumams nustatyti, tada peržiūrėkite pralaimėjimus ir lygius pagal jūsų priimtumo kriterijus. Atskirai patikrinkite kritines užduotis, įskaitant ar visi reikiami įrankių kvietimai ir argumentai buvo teisingi.
  • Sąnaudos. Palyginkite apskaičiuotas žetonų sąnaudas už tą patį užklausų rinkinį. Naudokite modelių pasiskirstymą, kad pamatytumėte, kurie modeliai atliko darbą.
  • Vėlavimas. Pažiūrėkite į medianą ir p95 — atsako laiką, kurį 95% matuotų užklausų pasiekė arba pagerino. Vidurkiai gali užmaskuoti lėtus atsakymus sudėtingose užduotyse.

Naudokite rezultatus RapidClaw modelių pasirinkimui

Paleiskite įrankių rinkinį atskirai savo Azure aplinkoje. RapidClaw Setup pagal numatytuosius nustatymus išdiegia patvirtintą tiesioginio modelio planą, o Command Center leidžia priskirti išdiegtą modelį kiekvienam agentui. Naudokite etaloną, kad nuspręstumėte, kurie modeliai yra verti kontroliuojamo agentų testo. Tame teste patikrinkite visą darbo eigą, įskaitant jungčių teises, patvirtinimus, įrankių kvietimus ir stebimą naudojimą.

Model Router Auto Evaluation saugykla · Microsoft Foundry Model Router dokumentacija

Susiję produktai ir gidai