Passer au contenu principal
RapidClaw

Évaluez Microsoft Foundry Model Router

Utilisez le kit d'évaluation de Microsoft pour comparer Model Router à un déploiement de modèle direct sur les invites que votre équipe utilise réellement.

Exécuter l'évaluation d'exemple

Comparez Model Router et une référence fixe en utilisant les données d'exemple synthétiques de Microsoft. Votre navigateur calcule le résumé sans effectuer d'appels de modèle ni demander d'identifiants Azure.

Le Microsoft Foundry Model Router sélectionne un modèle éligible pour chaque requête. Son mode de routage influence la manière dont il équilibre qualité et coût. Le kit Auto Evaluation open source Model Router de Microsoft envoie les mêmes invites au routeur et à une référence fixe, puis produit des rapports sur la qualité des réponses, le coût estimé en tokens, la latence et les modèles choisis par le routeur.

Commencez par le rapport d'exemple

Suivez le guide de démarrage rapide pour générer un tableau de bord d'exemple avec des données synthétiques et sans identifiants Azure. Ouvrez results/demo/dashboard.html et parcourez les graphiques de qualité, de coût et de latence. Les chiffres d'exemple illustrent le format du rapport. Guide de démarrage rapide de Microsoft

Évaluez vos propres charges de travail

  1. Choisissez des invites représentatives et approuvées. Incluez des tâches courantes telles que la synthèse d'enregistrements, des tâches plus difficiles comme l'explication d'exceptions, et des exemples d'appels d'outils si votre charge de travail en dépend. Utilisez des données d'entreprise synthétiques ou masquées.
  2. Configurez votre déploiement Foundry Model Router et le déploiement direct que vous utilisez actuellement comme référence. Utilisez un déploiement juge séparé lorsque c'est possible. Confirmez les tarifs en tokens configurés pour votre région et vos déploiements avant d'interpréter les estimations de coût.
  3. Exécutez d'abord une petite évaluation en conditions réelles. Les exécutions en direct engendrent des appels facturables vers les points de terminaison configurés. Maintenez le jeu de données, la référence, le juge et les paramètres de requête identiques lorsque vous comparez deux modes de routage.

Interprétez les résultats par tâche

  • Qualité. Utilisez les scores du juge pour identifier les différences, puis examinez les pertes et égalités par rapport à vos propres critères d'acceptation. Vérifiez les tâches critiques individuellement, y compris si les appels d'outils requis et leurs arguments étaient corrects.
  • Coût. Comparez le coût estimé en tokens pour le même lot d'invites. Utilisez la distribution des modèles pour voir quels modèles ont traité le travail.
  • Latence. Consultez la médiane et le p95, le temps de réponse que 95 % des requêtes mesurées ont atteint ou amélioré. Les moyennes peuvent masquer des réponses lentes sur des tâches complexes.

Utilisez les résultats pour la sélection de modèles RapidClaw

Exécutez le kit séparément dans votre environnement Azure. RapidClaw Setup déploie par défaut un plan de modèle direct vérifié, et Command Center vous permet d'affecter un modèle déployé par agent. Utilisez le benchmark pour décider quels modèles méritent un test d'agent contrôlé. Lors de ce test, vérifiez le flux de travail complet, y compris les autorisations des connecteurs, les approbations, les appels d'outils et l'utilisation observée.

Dépôt Model Router Auto Evaluation · Documentation Microsoft Foundry Model Router

Produits et guides associés