Siirry pääsisältöön
RapidClaw

Arvioi Microsoft Foundry Model Router

Käytä Microsoft'n arviointityökalupakettia vertaillaksesi Model Router ja suoraan käyttöön otetun mallin vastauksia niillä kehotteilla, joita tiimisi todellisuudessa käyttää.

Suorita näytearviointi

Vertaile Model Routeria ja kiinteää vertailutasoa Microsoftin synteettisillä näyteaineistoilla. Selaimesi laskee yhteenvedon ilman mallikutsuja tai Azure-tunnistetietoja.

Microsoft Foundry Model Router valitsee kelvollisen mallin jokaista pyyntöä varten. Sen reititystila vaikuttaa siihen, miten se tasapainottaa laatua ja kustannuksia. Microsoft'n avoimen lähdekoodin Model Router Auto Evaluation -työkalusarja lähettää samat kehotteet reitittimelle ja kiinteälle vertailutasolle, minkä jälkeen se raportoi vastausten laadun, arvioidun token-kustannuksen, viiveen ja ne mallit, jotka reititin valitsi.

Aloita esimerkkiraportista

Seuraa pikaopasta luodaksesi esimerkkimittariston synteettisellä datalla ilman Azure-tunnuksia. Avaa results/demo/dashboard.html ja selaa laadun, kustannusten ja viiveen kaavioita. Esimerkkiluvut havainnollistavat raportin muotoa. Microsoft'n pikaopas

Vertaa omaa työkuormaasi

  1. Valitse edustavia, hyväksyttyjä kehotteita. Sisällytä rutiinitehtäviä, kuten tietueiden tiivistäminen; vaikeampia tehtäviä, kuten poikkeamien selittäminen; ja työkalukutsuesimerkkejä, jos työkuormasi riippuu niistä. Käytä synteettistä tai sensuroitua liiketoimintadataa.
  2. Määritä Foundry Model Router -käyttöönotto ja se suora käyttöönotto, jota käytät nykyisin, vertailutasoksi. Käytä erillistä arvostelija-ympäristöä (judge) kun se on käytännöllistä. Varmista alueellesi ja käyttöönottoihisi konfiguroidut token-hinnat ennen kustannusarvioiden tulkintaa.
  3. Suorita ensin pieni live-arviointi. Live-ajot tekevät laskutettavia kutsuja konfiguroituihin päätepisteisiin. Pidä datasetti, vertailutaso, arvostelija ja pyyntöasetukset muuttumattomina verratessasi kahta reititystapaa.

Lue tulokset tehtäväkohtaisesti

  • Laatu. Käytä arvioijan pisteitä erotusten tunnistamiseen, ja tarkastele sitten tappioita ja tasapelejä oman hyväksymiskriteeristösi mukaan. Tarkista kriittiset tehtävät yksitellen, mukaan lukien olivatko mahdolliset vaaditut työkalukutsut ja niiden argumentit oikein.
  • Kustannukset. Vertaa samaa kehottejoukkoa koskevaa arvioitua token-kustannusta. Käytä mallijakaumaa nähdäksesi, mitkä mallit hoitivat työn.
  • Viive. Tarkastele mediaania ja p95-arvoa, eli sitä vastausaikaa, jonka 95 % mitatuista pyynnöistä saavutti tai alitti. Keskiarvot voivat peittää hitaat vastaukset monimutkaisissa tehtävissä.

Käytä tuloksia RapidClaw-mallin valintaan

Suorita työkalu erikseen Azure -ympäristössäsi. RapidClaw Setup ottaa oletuksena käyttöön vahvistetun suoran malli‑suunnitelman, ja Command Center sallii sinun määrittää käyttöönotetun mallin per agentti. Käytä vertailutuloksia päättämään, mitkä mallit ansaitsevat kontrolloidun agenttitestin. Tässä testissä varmista koko työnkulku, mukaan lukien liittimen oikeudet, hyväksynnät, työkalukutsut ja havaittu käyttö.

Model Router Auto Evaluation -koodivarasto · Microsoft Foundry Model Router dokumentaatio

Lisätuotteet ja oppaat