Hoppa till huvudinnehåll
RapidClaw

Utvärdera Microsoft Foundry Model Router

Använd utvärderingsverktyget från Microsoft för att jämföra Model Router med en direktmodelldistribution på de prompts ditt team faktiskt använder.

Kör exempelutvärderingen

Jämför Model Router med en fast referens med hjälp av Microsofts syntetiska exempeldata. Din webbläsare beräknar sammanfattningen utan att göra riktiga modellanrop eller be om Azure-referenser.

Microsoft Foundry Model Router väljer en lämplig modell för varje förfrågan. Dess rutningsläge påverkar hur den väger kvalitet mot kostnad. Det öppenkällkodbaserade Model Router Auto Evaluation-verktyget från Microsoft skickar samma prompts till routern och en fast baslinje, och rapporterar sedan svarskvalitet, uppskattad tokenkostnad, latens och vilka modeller routern valde.

Börja med exempelrapporten

Följ snabbstarten för att generera en exempelöversikt med syntetiska data och utan Azure-uppgifter. Öppna results/demo/dashboard.html och gå igenom diagrammen för kvalitet, kostnad och latens. Exempelvärdena illustrerar rapportformatet. snabbstarten för Microsoft

Utvärdera din egen arbetsbelastning

  1. Välj representativa, godkända promptar. Inkludera rutinuppgifter som att sammanfatta poster, svårare uppgifter som att förklara undantag, och exempel på verktygsanrop om din arbetsbelastning är beroende av dem. Använd syntetiska eller maskerade affärsdata.
  2. Konfigurera din Foundry Model Router-distribution och den direkta distribution du använder idag som baslinje. Använd en separat judge-distribution där det är praktiskt. Bekräfta de konfigurerade tokenpriserna för din region och distributioner innan du tolkar kostnadsuppskattningarna.
  3. Kör först en liten live-utvärdering. Live-körningar gör fakturerbara anrop till de konfigurerade slutpunkterna. Håll datasetet, baslinjen, judge och förfrågningsinställningarna oförändrade när du jämför två rutningslägen.

Läs resultaten per uppgift

  • Kvalitet. Använd judge-poängen för att identifiera skillnader, granska sedan förluster och oavgjorda mot dina egna accepteranskriterier. Kontrollera kritiska uppgifter individuellt, inklusive om eventuella nödvändiga verktygsanrop och argument var korrekta.
  • Kostnad. Jämför den uppskattade tokenkostnaden för samma omgång promptar. Använd modelldistributionen för att se vilka modeller som hanterade arbetet.
  • Latens. Titta på medianen och p95, svarstiden som 95 % av de uppmätta förfrågningarna klarade eller slog. Medelvärden kan dölja långsamma svar vid komplexa uppgifter.

Använd resultaten för RapidClaw modellval

Kör verktygssatsen separat i din Azure-miljö. RapidClaw Setup distribuerar som standard en verifierad plan för direktmodell, och Command Center låter dig tilldela en distribuerad modell per agent. Använd benchmarken för att avgöra vilka modeller som motiverar ett kontrollerat agenttest. I det testet verifiera hela arbetsflödet, inklusive connector-behörigheter, godkännanden, verktygsanrop och observerad användning.

Repository för Model Router Auto Evaluation · Microsoft Foundry Model Router dokumentation

Relaterade produkter och guider