Przejdź do głównej treści
RapidClaw

Oceń Microsoft Foundry Model Router

Użyj zestawu narzędzi oceniających Microsoft, aby porównać Model Router z bezpośrednim wdrożeniem modelu na promptach, których faktycznie używa Twój zespół.

Uruchom ocenę próbną

Porównaj Model Router z ustaloną bazą odniesienia przy użyciu syntetycznych danych przykładowych Microsoftu. Twoja przeglądarka oblicza podsumowanie bez wykonywania wywołań modelu ani żądania poświadczeń Azure.

Microsoft Foundry Model Router wybiera odpowiedni model dla każdego żądania. Jego tryb routingu wpływa na to, jak równoważy jakość i koszty. Otwarty kod źródłowy zestawu narzędzi Auto Evaluation Model Router od Microsoft wysyła te same prompty do routera i do ustalonego punktu odniesienia, a następnie raportuje jakość odpowiedzi, szacowany koszt tokenów, opóźnienie oraz które modele zostały wybrane przez router.

Zacznij od przykładowego raportu

Postępuj zgodnie z przewodnikiem szybkiego startu, aby wygenerować przykładowy pulpit z syntetycznymi danymi bez poświadczeń Azure. Otwórz results/demo/dashboard.html i przejrzyj wykresy jakości, kosztów i opóźnień. Przykładowe liczby ilustrują format raportu. Przewodnik szybkiego startu Microsoft

Przeprowadź benchmark własnego obciążenia

  1. Wybierz reprezentatywne, zatwierdzone prompty. Uwzględnij zadania rutynowe, takie jak podsumowywanie rekordów; trudniejsze zadania, takie jak wyjaśnianie wyjątków; oraz przykłady wywołań narzędzi, jeśli Twoje obciążenie od nich zależy. Używaj danych biznesowych syntetycznych lub zredagowanych.
  2. Skonfiguruj swoje wdrożenie Foundry Model Router oraz bezpośrednie wdrożenie, którego używasz dziś, jako punkt odniesienia. W miarę możliwości użyj osobnego wdrożenia sędziego. Potwierdź skonfigurowane stawki tokenów dla Twojego regionu i wdrożeń przed interpretacją szacunków kosztów.
  3. Najpierw przeprowadź małą ocenę na żywo. Uruchomienia na żywo generują opłacalne wywołania do skonfigurowanych punktów końcowych. Zachowaj stały zestaw danych, punkt odniesienia, wdrożenie sędziego i ustawienia żądań podczas porównywania dwóch trybów routingu.

Analiza wyników według zadania

  • Jakość. Użyj wyników sędziego, aby zidentyfikować różnice, następnie przejrzyj porażki i remisy względem własnych kryteriów akceptacji. Sprawdź krytyczne zadania indywidualnie, w tym czy wymagane wywołania narzędzi i argumenty były poprawne.
  • Koszt. Porównaj szacowany koszt tokenów dla tego samego zbioru promptów. Użyj rozkładu modeli, aby zobaczyć, które modele wykonały pracę.
  • Opóźnienia. Spójrz na medianę i p95 — czas odpowiedzi, który 95% mierzonych żądań osiągnęło lub poprawiło. Średnie mogą ukrywać wolne odpowiedzi w przypadku złożonych zadań.

Wykorzystaj wyniki do wyboru modelu RapidClaw

Uruchom zestaw narzędzi oddzielnie w swoim środowisku Azure. RapidClaw Setup domyślnie wdraża zweryfikowany plan bezpośredniego modelu, a Command Center pozwala przypisać wdrożony model dla każdego agenta. Użyj benchmarku, aby zdecydować, które modele uzasadniają kontrolowany test agenta. W tym teście zweryfikuj pełny przepływ pracy, w tym uprawnienia konektorów, zatwierdzenia, wywołania narzędzi oraz obserwowane użycie.

Repozytorium Auto Evaluation Model Router · Dokumentacja Microsoft Foundry Model Router

Powiązane produkty i przewodniki