Перейти к основному содержанию
RapidClaw

Оцените Microsoft Foundry Model Router

Используйте инструментарий оценки Microsoft, чтобы сравнить Model Router с прямым развертыванием модели на тех подсказках, которые ваша команда действительно использует.

Запустите пример оценки

Сравните Model Router с фиксированным базовым вариантом, используя синтетические примерные данные Microsoft. Ваш браузер вычисляет сводку без выполнения реальных вызовов моделей и без запроса учетных данных Azure.

Microsoft Foundry Model Router выбирает подходящую модель для каждого запроса. Его режим маршрутизации влияет на баланс между качеством и стоимостью. Инструментарий Auto Evaluation Model Router с открытым исходным кодом от Microsoft отправляет одинаковые подсказки маршрутизатору и фиксированной эталонной модели, а затем формирует отчёт о качестве ответов, оценочной стоимости токенов, задержке и о том, какие модели выбрал маршрутизатор.

Начните с образца отчёта

Следуйте быстрому старту, чтобы сгенерировать пример дашборда с синтетическими данными и без учётных данных Azure. Откройте results/demo/dashboard.html и просмотрите графики качества, стоимости и задержки. Примерные цифры демонстрируют формат отчёта. быстрый старт Microsoft

Выполните бенчмарк вашей рабочей нагрузки

  1. Выберите репрезентативные, утверждённые подсказки. Включите рутинные задачи, такие как суммаризация записей, более сложные задачи, такие как объяснение исключений, и примеры вызова инструментов, если ваша рабочая нагрузка от них зависит. Используйте синтетические или анонимизированные бизнес-данные.
  2. Настройте развертывание Foundry Model Router и прямое развертывание, которое вы используете сегодня, в качестве базовой линии. Используйте отдельное развертывание оценщика (judge), когда это практично. Подтвердите настроенные тарифы на токены для вашего региона и развертываний перед интерпретацией оценок стоимости.
  3. Сначала выполните небольшую живую оценку. Живые запуски выполняют платные вызовы к настроенным конечным точкам. Сохраняйте набор данных, базовую линию, развертывание оценщика и настройки запросов неизменными при сравнении двух режимов маршрутизации.

Анализ результатов по задачам

  • Качество. Используйте оценки судьи (judge), чтобы выявить различия, затем проверьте проигрыши и ничьи в соответствии с вашими критериями приемки. Проверьте критические задачи индивидуально, включая корректность необходимых вызовов инструментов и передаваемых аргументов.
  • Стоимость. Сравните оценочную стоимость токенов для одного и того же набора подсказок. Используйте распределение моделей, чтобы увидеть, какие модели выполнили работу.
  • Задержка. Просмотрите медиану и p95 — время отклика, которое 95% измеренных запросов уложились или превзошли. Средние значения могут скрывать медленные ответы на сложных задачах.

Используйте результаты при выборе моделей для RapidClaw

Запустите инструментарий отдельно в вашей среде Azure. RapidClaw Setup по умолчанию разворачивает проверенный план прямого развертывания модели, а Command Center позволяет назначать развернутую модель для каждого агента. Используйте бенчмарк, чтобы решить, какие модели заслуживают контролируемого тестирования агентов. В этом тесте проверьте полный рабочий процесс, включая разрешения коннекторов, утверждения, вызовы инструментов и наблюдаемое использование.

Репозиторий Auto Evaluation для Model Router · Документация Microsoft Foundry Model Router

Связанные продукты и руководства