تقييم Microsoft Foundry Model Router
استخدم مجموعة أدوات التقييم الخاصة بـ Microsoft لمقارنة Model Router بنشر نموذج مباشر على المطالبات التي يستخدمها فريقك فعليًا.
تشغيل التقييم التجريبي
قارن Model Router مع خط أساس ثابت باستخدام بيانات نموذجية تجريبية من Microsoft. يقوم متصفحك بحساب الملخص دون إجراء استدعاءات للنماذج أو طلب بيانات اعتماد Azure.
Microsoft Foundry Model Router يختار نموذجًا مؤهلاً لكل طلب. يؤثر وضع التوجيه الخاص به على كيفية الموازنة بين الجودة والتكلفة. تقوم مجموعة أدوات التقييم المفتوحة المصدر Model Router التابعة لـ Microsoft بإرسال نفس المطالبات إلى جهاز التوجيه ونموذج مرجعي ثابت، ثم تُبلغ عن جودة الاستجابة، وتكلفة التوكن المقدرة، والزمن المستغرق، والنماذج التي اختارها جهاز التوجيه.
ابدأ بالتقرير النموذجي
اتبع دليل البدء السريع لإنشاء لوحة عينة ببيانات تركيبية وبدون بيانات اعتماد Azure. افتح results/demo/dashboard.html وتصفح مخططات الجودة والتكلفة والزمن المستغرق. الأرقام التجريبية توضح شكل التقرير. دليل البدء السريع لـ Microsoft
قِس عبء العمل الخاص بك
- اختر مطالبات ممثلة ومُعتمدة. أدرج المهام الروتينية مثل تلخيص السجلات، والمهام الأصعب مثل شرح الاستثناءات، وأمثلة استدعاء الأدوات إذا كان عبء العمل يعتمد عليها. استخدم بيانات تجريبية أو بيانات أعمال مخفية.
- قم بتكوين نشر Model Router في Foundry والنشر المباشر الذي تستخدمه اليوم كأساس. استخدم نشر حكم منفصل حيثما أمكن. أكد معدلات التوكن المكوّنة لمنطقتك والنشرات قبل تفسير تقديرات التكلفة.
- قم بتشغيل تقييم حي صغير أولًا. تُعدّ العمليات الحية استدعاءات تُحسب مقابلها تكاليف إلى نقاط النهاية المكوّنة. حافظ على ثبات مجموعة البيانات والأساس والحكم وإعدادات الطلب عند مقارنة وضعين للتوجيه.
اقرأ النتائج حسب المهمة
- الجودة. استخدم درجات الحكم لتحديد الاختلافات، ثم راجع حالات الخسارة والتعادل مقابل معايير القبول الخاصة بك. تحقق من المهام الحرجة بشكل فردي، بما في ذلك ما إذا كانت أي استدعاءات أدوات مطلوبة والوسائط صحيحة.
- التكلفة. قارن تقدير تكلفة التوكن لنفس دفعة المطالبات. استخدم توزيع النماذج لمعرفة أي النماذج تعاملت مع العمل.
- الزمن المستغرق. انظر إلى الوسيط وp95، وهو زمن الاستجابة الذي استوفته أو تفوق عليه 95% من الطلبات المقاسة. المتوسطات قد تخفي الاستجابات البطيئة في المهام المعقدة.
استخدم النتائج لاختيار النماذج في RapidClaw
شغِّل مجموعة الأدوات بشكل منفصل في بيئة Azure الخاصة بك. يقوم RapidClaw Setup بنشر خطة نموذج مباشر مُتحقَّق منها افتراضيًا، و Command Center يتيح لك تعيين نموذج منشور لكل وكيل. استخدم الاختبار المرجعي لتقرير أي النماذج تستحق اختبارًا مراقبًا للوكيل. في ذلك الاختبار، تحقق من سير العمل الكامل، بما في ذلك أذونات الموصل، والموافقات، واستدعاءات الأدوات، والاستخدام المرصود.
مستودع التقييم الآلي لـ Model Router · توثيق Microsoft Foundry Model Router