Evalueer Microsoft Foundry Model Router
Gebruik de evaluatietoolkit van Microsoft om Model Router te vergelijken met een directe modelimplementatie op de prompts die uw team daadwerkelijk gebruikt.
Voer de voorbeeldbeoordeling uit
Vergelijk Model Router met een vaste referentie met behulp van Microsofts synthetische voorbeeldgegevens. Uw browser berekent de samenvatting zonder modelaanroepen te doen of om Azure-referenties te vragen.
Microsoft Foundry Model Router selecteert voor elk verzoek een geschikt model. De routeringsmodus beïnvloedt hoe kwaliteit en kosten worden afgewogen. De open-source Model Router Auto Evaluation-toolkit van Microsoft stuurt dezelfde prompts naar de router en een vaste referentie, en rapporteert vervolgens responskwaliteit, geschatte tokenkosten, latentie en welke modellen de router heeft geselecteerd.
Begin met het voorbeeldrapport
Volg de snelstart om een voorbeelddashboard te genereren met synthetische gegevens en zonder Azure-referenties. Open results/demo/dashboard.html en bekijk de grafieken voor kwaliteit, kosten en latentie. De voorbeeldwaarden tonen het rapportformaat. snelstartgids van Microsoft
Benchmark uw eigen werklast
- Kies representatieve, goedgekeurde prompts. Neem routinetaken op zoals het samenvatten van records, moeilijkere taken zoals het uitleggen van uitzonderingen, en voorbeelden van tool-aanroepen als uw werklast daarvan afhangt. Gebruik synthetische of geanonimiseerde bedrijfsgegevens.
- Configureer uw Foundry Model Router-implementatie en de directe implementatie die u vandaag gebruikt als referentie. Gebruik, waar praktisch, een aparte judge-implementatie. Controleer de geconfigureerde tokentarieven voor uw regio en implementaties voordat u de kostenramingen interpreteert.
- Voer eerst een kleine live-evaluatie uit. Live-uitvoeringen doen factureerbare oproepen naar de geconfigureerde endpoints. Houd dataset, referentie, judge en aanvraaginstellingen constant bij het vergelijken van twee routeringsmodi.
Lees de resultaten per taak
- Kwaliteit. Gebruik de judge-scores om verschillen te identificeren en bekijk vervolgens verliezen en gelijke scores aan de hand van uw eigen acceptatiecriteria. Controleer kritische taken afzonderlijk, inclusief of vereiste tool-aanroepen en argumenten correct waren.
- Kosten. Vergelijk de geschatte tokenkosten voor dezelfde batch prompts. Gebruik de modelverdeling om te zien welke modellen het werk hebben uitgevoerd.
- Latentie. Kijk naar de mediaan en p95, de responstijd die 95% van de gemeten verzoeken haalde of sneller was. Gemiddelden kunnen trage reacties bij complexe taken verbergen.
Gebruik de resultaten voor RapidClaw modelselectie
Voer de toolkit afzonderlijk uit in uw Azure-omgeving. RapidClaw Setup implementeert standaard een geverifieerd direct-modelplan, en Command Center stelt u in staat om per agent een geïmplementeerd model toe te wijzen. Gebruik de benchmark om te bepalen welke modellen een gecontroleerde agenttest verdienen. Verifieer in die test de volledige workflow, inclusief connectormachtigingen, goedkeuringen, tool-aanroepen en geobserveerd gebruik.
Model Router Auto Evaluation repository · Microsoft Foundry Model Router documentatie