Ugrás a fő tartalomra
RapidClaw

Értékelje a Microsoft Foundry Model Router-et

Használja Microsoft értékelő eszközkészletét, hogy összehasonlítsa a Model Router-et egy közvetlen modelltelepítéssel azokon a promptokon, amelyeket a csapata ténylegesen használ.

Futtassa a mintavéleményt

Hasonlítsa össze a Model Routert és egy rögzített alapvonalat a Microsoft szintetikus mintaadataival. A böngészője számolja ki az összefoglalót anélkül, hogy modellhívásokat tenne vagy Azure hitelesítő adatokat kérne.

Microsoft Foundry Model Router minden kéréshez kiválaszt egy alkalmas modellt. Az útválasztási módja befolyásolja, hogyan egyensúlyozza a minőséget és a költséget. Microsoft nyílt forráskódú Model Router Auto Evaluation eszközkészlete ugyanazokat a promptokat küldi a routernek és egy rögzített alapvonalnak, majd jelentést készít a válasz minőségéről, a becsült tokenköltségről, a késleltetésről és arról, hogy mely modelleket választotta a router.

Kezdje a minta jelentéssel

Kövesse a gyorsindító útmutatót, hogy generáljon egy mintaműszerfalat szintetikus adatokkal és Azure hitelesítő adatok nélkül. Nyissa meg a results/demo/dashboard.html fájlt, és nézze át a minőség-, költség- és késleltetési diagramokat. A mintaértékek a jelentés formátumát szemléltetik. Microsoft gyorsindító útmutatója

Mérje le a saját munkaterhelését

  1. Válasszon reprezentatív, jóváhagyott promptokat. Vegyen fel rutinfeladatokat, például rekordok összefoglalását; nehezebb feladatokat, például kivételek magyarázatát; és eszközhívás-példákat, ha a munkaterhelése ezektől függ. Használjon szintetikus vagy anonimizált üzleti adatokat.
  2. Konfigurálja a Foundry Model Router telepítését és a jelenleg használt közvetlen telepítést alapvonalnak. Ha lehetséges, használjon külön judge telepítést. Ellenőrizze a beállított tokenárakat a régiójában és a telepítéseknél, mielőtt értelmezné a költségbecsléseket.
  3. Először futtasson egy kis élő értékelést. Az élő futtatások számlázható hívásokat indítanak a konfigurált végpontokra. Tartsa változatlanul az adathalmazt, az alapvonalat, a judge-ot és a kérésbeállításokat, amikor két routing módot hasonlít össze.

Értelmezze az eredményeket feladatonként

  • Minőség. Használja a judge pontszámokat a különbségek azonosítására, majd vizsgálja meg a veszteségeket és a döntetleneket a saját elfogadási kritériumai alapján. Ellenőrizze egyenként a kritikus feladatokat, beleértve azt is, hogy minden szükséges eszközhívás és argumentum helyes volt-e.
  • Költség. Hasonlítsa össze a becsült tokenköltséget ugyanarra a promptcsomagra. Használja a modell-eloszlást, hogy lássa, mely modellek végezték a munkát.
  • Késleltetés. Nézze meg a mediánt és a p95 értéket, azaz azt a válaszidőt, amelyet a mért kérések 95%-a teljesített vagy meghaladott. Az átlagok elrejthetik az összetett feladatoknál előforduló lassú válaszokat.

Használja az eredményeket a RapidClaw modellkiválasztáshoz

Futtassa az eszközkészletet külön a Azure környezetében. A RapidClaw Setup alapértelmezés szerint telepít egy hitelesített közvetlen modelltervet, és a Command Center lehetővé teszi, hogy ügynökönként hozzárendeljen egy telepített modellt. Használja a benchmarkot annak eldöntésére, mely modellek indokolnak egy kontrollált ügynöktesztet. Ebben a tesztben ellenőrizze a teljes munkafolyamatot, beleértve a connector jogosultságokat, jóváhagyásokat, eszközhívásokat és a megfigyelt használatot.

Model Router Auto Evaluation repozitóriuma · Microsoft Foundry Model Router dokumentációja

Kapcsolódó termékek és útmutatók