Оцените Microsoft Foundry Model Router
Используйте инструментарий оценки Microsoft, чтобы сравнить Model Router с прямым развертыванием модели на тех подсказках, которые ваша команда действительно использует.
Запустите пример оценки
Сравните Model Router с фиксированным базовым вариантом, используя синтетические примерные данные Microsoft. Ваш браузер вычисляет сводку без выполнения реальных вызовов моделей и без запроса учетных данных Azure.
Microsoft Foundry Model Router выбирает подходящую модель для каждого запроса. Его режим маршрутизации влияет на баланс между качеством и стоимостью. Инструментарий Auto Evaluation Model Router с открытым исходным кодом от Microsoft отправляет одинаковые подсказки маршрутизатору и фиксированной эталонной модели, а затем формирует отчёт о качестве ответов, оценочной стоимости токенов, задержке и о том, какие модели выбрал маршрутизатор.
Начните с образца отчёта
Следуйте быстрому старту, чтобы сгенерировать пример дашборда с синтетическими данными и без учётных данных Azure. Откройте results/demo/dashboard.html и просмотрите графики качества, стоимости и задержки. Примерные цифры демонстрируют формат отчёта. быстрый старт Microsoft
Выполните бенчмарк вашей рабочей нагрузки
- Выберите репрезентативные, утверждённые подсказки. Включите рутинные задачи, такие как суммаризация записей, более сложные задачи, такие как объяснение исключений, и примеры вызова инструментов, если ваша рабочая нагрузка от них зависит. Используйте синтетические или анонимизированные бизнес-данные.
- Настройте развертывание Foundry Model Router и прямое развертывание, которое вы используете сегодня, в качестве базовой линии. Используйте отдельное развертывание оценщика (judge), когда это практично. Подтвердите настроенные тарифы на токены для вашего региона и развертываний перед интерпретацией оценок стоимости.
- Сначала выполните небольшую живую оценку. Живые запуски выполняют платные вызовы к настроенным конечным точкам. Сохраняйте набор данных, базовую линию, развертывание оценщика и настройки запросов неизменными при сравнении двух режимов маршрутизации.
Анализ результатов по задачам
- Качество. Используйте оценки судьи (judge), чтобы выявить различия, затем проверьте проигрыши и ничьи в соответствии с вашими критериями приемки. Проверьте критические задачи индивидуально, включая корректность необходимых вызовов инструментов и передаваемых аргументов.
- Стоимость. Сравните оценочную стоимость токенов для одного и того же набора подсказок. Используйте распределение моделей, чтобы увидеть, какие модели выполнили работу.
- Задержка. Просмотрите медиану и p95 — время отклика, которое 95% измеренных запросов уложились или превзошли. Средние значения могут скрывать медленные ответы на сложных задачах.
Используйте результаты при выборе моделей для RapidClaw
Запустите инструментарий отдельно в вашей среде Azure. RapidClaw Setup по умолчанию разворачивает проверенный план прямого развертывания модели, а Command Center позволяет назначать развернутую модель для каждого агента. Используйте бенчмарк, чтобы решить, какие модели заслуживают контролируемого тестирования агентов. В этом тесте проверьте полный рабочий процесс, включая разрешения коннекторов, утверждения, вызовы инструментов и наблюдаемое использование.
Репозиторий Auto Evaluation для Model Router · Документация Microsoft Foundry Model Router