Bewerten Sie Microsoft Foundry Model Router
Verwenden Sie das Evaluierungs-Toolkit von Microsoft, um Model Router mit einer direkten Modellausführung anhand der Eingabeaufforderungen zu vergleichen, die Ihr Team tatsächlich verwendet.
Beispielauswertung ausführen
Vergleichen Sie Model Router mit einer festen Baseline mithilfe der synthetischen Beispieldaten von Microsoft. Ihr Browser berechnet die Zusammenfassung, ohne Modellaufrufe durchzuführen oder nach Azure-Anmeldeinformationen zu fragen.
Microsoft Foundry Model Router wählt für jede Anfrage ein geeignetes Modell aus. Sein Routing-Modus beeinflusst, wie es Qualität und Kosten ausbalanciert. Das Open-Source-Model Router Auto Evaluation-Toolkit von Microsoft sendet dieselben Eingabeaufforderungen an den Router und an eine festgelegte Baseline und meldet dann Antwortqualität, geschätzte Token-Kosten, Latenz sowie welche Modelle der Router ausgewählt hat.
Beginnen Sie mit dem Beispielbericht
Befolgen Sie die Kurzanleitung, um ein Beispiel-Dashboard mit synthetischen Daten und ohne Azure-Anmeldeinformationen zu erzeugen. Öffnen Sie results/demo/dashboard.html und sehen Sie sich die Diagramme zu Qualität, Kosten und Latenz an. Die Beispielzahlen veranschaulichen das Berichtsformat. Kurzanleitung von Microsoft
Benchmarken Sie Ihre eigene Arbeitslast
- Wählen Sie repräsentative, genehmigte Eingabeaufforderungen aus. Beziehen Sie Routineaufgaben wie das Zusammenfassen von Datensätzen, anspruchsvollere Aufgaben wie das Erklären von Ausnahmen und Beispiele für Tool-Aufrufe ein, falls Ihre Arbeitslast davon abhängt. Verwenden Sie synthetische oder geschwärzte Geschäftsdaten.
- Konfigurieren Sie Ihre Foundry Model Router-Bereitstellung und die direkte Bereitstellung, die Sie heute als Baseline verwenden. Verwenden Sie nach Möglichkeit eine separate Judge-Bereitstellung. Bestätigen Sie die konfigurierten Token-Sätze für Ihre Region und Bereitstellungen, bevor Sie die Kostenschätzungen interpretieren.
- Führen Sie zuerst eine kleine Live-Evaluierung durch. Live-Läufe erzeugen abrechenbare Aufrufe an die konfigurierten Endpunkte. Halten Sie Datensatz, Baseline, Judge und Anfrageeinstellungen konstant, wenn Sie zwei Routing-Modi vergleichen.
Ergebnisse pro Aufgabe auswerten
- Qualität. Verwenden Sie die Judge-Scores, um Unterschiede zu identifizieren, und prüfen Sie anschließend Verluste und Unentschieden anhand Ihrer eigenen Akzeptanzkriterien. Überprüfen Sie kritische Aufgaben einzeln, einschließlich ob erforderliche Tool-Aufrufe und Argumente korrekt waren.
- Kosten. Vergleichen Sie die geschätzten Token-Kosten für denselben Batch von Eingabeaufforderungen. Verwenden Sie die Modellverteilung, um zu sehen, welche Modelle die Arbeit übernommen haben.
- Latenz. Betrachten Sie Median und p95 — die Antwortzeit, die 95 % der gemessenen Anfragen erreicht oder unterschritten haben. Durchschnitte können langsame Antworten bei komplexen Aufgaben verbergen.
Verwenden Sie die Ergebnisse für die Modellauswahl in RapidClaw
Führen Sie das Toolkit separat in Ihrer Azure-Umgebung aus. RapidClaw Setup stellt standardmäßig einen verifizierten Direktmodell-Plan bereit, und Command Center ermöglicht es Ihnen, pro Agent ein bereitgestelltes Modell zuzuweisen. Verwenden Sie das Benchmark, um zu entscheiden, welche Modelle einen kontrollierten Agententest rechtfertigen. Überprüfen Sie in diesem Test den vollständigen Workflow, einschließlich Connector-Berechtigungen, Genehmigungen, Tool-Aufrufen und beobachteter Nutzung.
Repository für Model Router Auto Evaluation · Dokumentation zu Microsoft Foundry Model Router