Microsoft Foundry Model Router を評価
Microsoft の評価ツールキットを使用して、チームが実際に使用するプロンプトで Model Router を直接デプロイと比較します。
サンプル評価を実行
Microsoft の合成サンプルデータを使用して Model Router と固定ベースラインを比較します。ブラウザーはモデル呼び出しを行ったり Azure の資格情報を要求したりすることなく、集計を計算します。
Microsoft Foundry Model Router は各リクエストに対して適格なモデルを選択します。そのルーティングモードは品質とコストのバランスに影響します。Microsoft のオープンソースの Model Router Auto Evaluation ツールキットは同じプロンプトをルーターと固定ベースラインの両方に送信し、応答品質、推定トークンコスト、レイテンシ、およびルーターが選択したモデルを報告します。
サンプルレポートから始める
クイックスタートに従って、合成データと Azure 資格情報なしでサンプルダッシュボードを生成します。results/demo/dashboard.html を開き、品質、コスト、レイテンシのチャートを確認してください。サンプルの数値はレポート形式を示しています。 Microsoft のクイックスタート
実際のワークロードをベンチマークする
- 代表的で承認されたプロンプトを選択します。レコードの要約などの日常的なタスク、例外の説明などのより難しいタスク、およびワークロードがそれらに依存する場合はツール呼び出しの例を含めてください。合成データまたは秘匿化した業務データを使用してください。
- Foundry Model Router のデプロイと、現在使用している直接デプロイをベースラインとして構成します。可能であれば別のジャッジデプロイを使用してください。コスト推定を解釈する前に、リージョンおよび各デプロイに設定されたトークンレートを確認してください。
- まず小規模なライブ評価を実行してください。ライブ実行は構成されたエンドポイントへ課金対象の呼び出しを行います。2つのルーティングモードを比較する際は、データセット、ベースライン、ジャッジ、およびリクエスト設定を固定してください。
タスク別に結果を読む
- 品質. ジャッジスコアを使って差異を特定し、劣るケースや同点ケースを自社の受け入れ基準に照らして確認してください。重要なタスクは個別にチェックし、必要なツール呼び出しや引数が正しかったかどうかも確認してください。
- コスト. 同じプロンプトのバッチについて推定トークンコストを比較します。モデル分布を使ってどのモデルが処理したかを確認してください。
- レイテンシ. 中央値および p95(測定されたリクエストの95%がその時間以下で応答した時間)を確認してください。平均値は複雑なタスクでの遅い応答を隠すことがあります。
RapidClaw のモデル選定に結果を利用する
あなたの Azure 環境でツールキットを別個に実行してください。RapidClaw Setup はデフォルトで検証済みの直接モデルプランをデプロイし、Command Center はエージェントごとにデプロイ済みモデルを割り当てられるようにします。ベンチマークを使って、どのモデルが制御されたエージェントテストに値するかを判断してください。そのテストでは、コネクタの権限、承認、ツール呼び出し、および観測された使用状況を含むフルワークフローを検証してください。
Model Router Auto Evaluation リポジトリ · Microsoft Foundry Model Router ドキュメント