Evaluate Microsoft Foundry Model Router
Microsoft'nin değerlendirme araç setini kullanarak Model Router'yi ekibinizin gerçekten kullandığı istemlerle doğrudan model dağıtımıyla karşılaştırın.
Örnek değerlendirmeyi çalıştır
Model Router'ı sabit bir temel ile Microsoft'un sentetik örnek verilerini kullanarak karşılaştırın. Tarayıcınız gerçek model çağrıları yapmadan ve Azure kimlik bilgileri istemeden özet hesaplamasını yapar.
Microsoft Foundry Model Router her istek için uygun bir model seçer. Yönlendirme modu kalite ve maliyeti nasıl dengelendiğini etkiler. Microsoft'nin açık kaynaklı Model Router Auto Evaluation araç seti, aynı istemleri router'a ve sabit bir temel dağıtıma gönderir; ardından yanıt kalitesi, tahmini token maliyeti, gecikme ve router'ın seçtiği modelleri raporlar.
Örnek raporla başlayın
Hızlı başlangıç kılavuzunu izleyerek sentetik verilerle ve Azure kimlik bilgileri olmadan örnek bir gösterge tablosu oluşturun. results/demo/dashboard.html dosyasını açın ve kalite, maliyet ve gecikme grafiklerini inceleyin. Örnek sayıların amacı rapor formatını göstermek içindir. Microsoft'nin hızlı başlangıç kılavuzu
Kendi iş yükünüzü kıyaslayın
- Temsili ve onaylı istemler seçin. Kayıtların özetlenmesi gibi rutin görevleri, istisnaların açıklanması gibi daha zor görevleri ve iş yükünüz bunlara bağlıysa araç çağrısı örneklerini dahil edin. Sentetik veya redakte edilmiş iş verileri kullanın.
- Foundry Model Router dağıtımınızı ve bugün kullandığınız doğrudan dağıtımı temel (baseline) olarak yapılandırın. Mümkünse ayrı bir judge dağıtımı kullanın. Maliyet tahminlerini yorumlamadan önce bölgeniz ve dağıtımlarınız için yapılandırılmış token oranlarını doğrulayın.
- Önce küçük bir canlı değerlendirme çalıştırın. Canlı çalıştırmalar yapılandırılmış uç noktalara ücretli çağrılar yapar. İki yönlendirme modunu karşılaştırırken veri kümesini, temel dağıtımı, judge'ı ve istek ayarlarını sabit tutun.
Göreve göre sonuçları okuyun
- Kalite. Farkları belirlemek için judge puanlarını kullanın, ardından kabul kriterlerinize karşı kayıpları ve beraberlikleri inceleyin. Herhangi bir gerekli araç çağrısının ve argümanlarının doğru olup olmadığını içeren kritik görevleri ayrı ayrı kontrol edin.
- Maliyet. Aynı istemler grubunun tahmini token maliyetini karşılaştırın. Hangi modellerin işi üstlendiğini görmek için model dağılımını inceleyin.
- Gecikme. Ölçülen isteklerin %95'inin ulaştığı veya geçemediği yanıt süresi olan medyan ve p95'e bakın. Ortalama değerler karmaşık görevlerdeki yavaş yanıtları gizleyebilir.
Sonuçları RapidClaw model seçimi için kullanın
Araç setini kendi Azure ortamınızda ayrı olarak çalıştırın. RapidClaw Setup varsayılan olarak doğrulanmış bir doğrudan-model planı dağıtır ve Command Center her ajana dağıtılmış bir model atamanıza izin verir. Hangi modellerin kontrollü bir ajan testi gerektirdiğine karar vermek için karşılaştırmayı kullanın. Bu testte, bağlayıcı izinleri, onaylar, araç çağrıları ve gözlemlenen kullanım dahil olmak üzere tam iş akışını doğrulayın.
Model Router Auto Evaluation deposu · Microsoft Foundry Model Router dokümantasyonu