Zhodnoťte Microsoft Foundry Model Router
Použijte evaluační nástroj Microsoft k porovnání Model Router s přímým nasazením modelu na výzvách (promptech), které váš tým skutečně používá.
Spustit ukázkové hodnocení
Porovnejte Model Router s pevnou základní linií pomocí syntetických ukázkových dat Microsoftu. Váš prohlížeč vypočítá souhrn bez volání modelů nebo požadavků na přihlašovací údaje Azure.
Microsoft Foundry Model Router vybere pro každý požadavek způsobilý model. Jeho režim směrování ovlivňuje, jak vyvažuje kvalitu a náklady. Open-source evaluační nástroj Model Router Auto Evaluation od Microsoft posílá stejné prompty do routeru a do pevné srovnávací základny, poté hlásí kvalitu odpovědí, odhadované náklady na tokeny, latenci a které modely router vybral.
Začněte s ukázkovou zprávou
Postupujte podle rychlého startu pro vygenerování ukázkového dashboardu se syntetickými daty a bez přihlašovacích údajů Azure. Otevřete results/demo/dashboard.html a projděte si grafy kvality, nákladů a latence. Ukázková čísla ilustrují formát zprávy. rychlý start Microsoft
Proveďte benchmark na vaší vlastní zátěži
- Vyberte reprezentativní, schválené prompty. Zahrňte rutinní úlohy, jako je shrnutí záznamů, náročnější úlohy, jako je vysvětlování výjimek, a příklady volání nástrojů, pokud na nich vaše zátěž závisí. Použijte syntetická nebo redigovaná obchodní data.
- Nakonfigurujte své nasazení Foundry Model Router a přímé nasazení, které dnes používáte, jako srovnávací základnu. Kde to je praktické, použijte samostatné nasazení pro rozhodčí (judge). Před interpretací odhadů nákladů potvrďte nakonfigurované sazby za tokeny pro váš region a nasazení.
- Nejprve proveďte malou živou evaluaci. Živé běhy vytvářejí zpoplatněná volání na nakonfigurované koncové body. Při porovnávání dvou režimů směrování ponechte dataset, základnu, rozhodčí a nastavení požadavků stejné.
Vyhodnoťte výsledky podle úloh
- Kvalita. Použijte skóre rozhodčího k identifikaci rozdílů, poté zkontrolujte ztráty a remízy vůči vašim kritériím přijatelnosti. Zkontrolujte kritické úlohy jednotlivě, včetně toho, zda byla volání nástrojů a jejich argumenty správné.
- Náklady. Porovnejte odhadované náklady na tokeny pro stejnou sadu promptů. Použijte rozložení modelů, abyste zjistili, které modely úlohy zpracovaly.
- Latence. Podívejte se na medián a p95, tj. dobu odezvy, kterou 95 % měřených požadavků splnilo nebo překonalo. Průměry mohou skrývat pomalé odpovědi u složitých úloh.
Použijte výsledky pro výběr modelu RapidClaw
Spusťte nástroj odděleně ve vašem prostředí Azure. RapidClaw Setup nasazuje ve výchozím nastavení ověřený plán přímého modelu a Command Center vám umožňuje přiřadit nasazený model jednotlivému agentovi. Použijte benchmark k rozhodnutí, které modely si zaslouží kontrolovaný test agenta. V tom testu ověřte celý pracovní postup, včetně oprávnění konektorů, schválení, volání nástrojů a pozorovaného používání.
Repozitář Model Router Auto Evaluation · Dokumentace Microsoft Foundry Model Router