Vai al contenuto principale
RapidClaw

Valuta Microsoft Foundry Model Router

Usa il toolkit di valutazione di Microsoft per confrontare Model Router con un deployment diretto del modello sui prompt che il tuo team utilizza realmente.

Esegui la valutazione di esempio

Confronta Model Router e un baselines fisso usando i dati di esempio sintetici di Microsoft. Il tuo browser calcola il riepilogo senza effettuare chiamate al modello né richiedere credenziali Azure.

Microsoft Foundry Model Router seleziona un modello idoneo per ogni richiesta. La sua modalità di instradamento influisce su come bilancia qualità e costo. Il toolkit open-source Model Router Auto Evaluation di Microsoft invia gli stessi prompt al router e a una baseline fissa, quindi riporta la qualità delle risposte, il costo stimato in token, la latenza e quali modelli il router ha selezionato.

Inizia con il report di esempio

Segui la guida rapida per generare una dashboard di esempio con dati sintetici e senza credenziali Azure. Apri results/demo/dashboard.html e consulta i grafici di qualità, costo e latenza. I numeri di esempio illustrano il formato del report. guida rapida di Microsoft

Esegui il benchmark sul tuo carico di lavoro

  1. Scegli prompt rappresentativi e approvati. Includi attività di routine come il riassunto di record, attività più complesse come la spiegazione di eccezioni, ed esempi di chiamate a tool se il tuo carico di lavoro dipende da esse. Usa dati aziendali sintetici o anonimizzati.
  2. Configura il tuo deployment Foundry Model Router e il deployment diretto che usi oggi come baseline. Usa un deployment judge separato quando possibile. Verifica le tariffe per token configurate per la tua regione e i deployment prima di interpretare le stime dei costi.
  3. Esegui prima una piccola valutazione live. Le esecuzioni live effettuano chiamate fatturabili agli endpoint configurati. Mantieni invariati dataset, baseline, judge e impostazioni delle richieste quando confronti due modalità di instradamento.

Interpreta i risultati per attività

  • Qualità. Usa i punteggi del judge per identificare le differenze, quindi esamina sconfitte e pareggi rispetto ai tuoi criteri di accettazione. Verifica le attività critiche singolarmente, incluso se eventuali chiamate a tool richieste e gli argomenti erano corretti.
  • Costo. Confronta il costo stimato in token per lo stesso batch di prompt. Usa la distribuzione dei modelli per vedere quali modelli hanno gestito il lavoro.
  • Latenza. Esamina la mediana e il p95, il tempo di risposta che il 95% delle richieste misurate non ha superato. Le medie possono nascondere risposte lente su attività complesse.

Usa i risultati per la selezione dei modelli in RapidClaw

Esegui il toolkit separatamente nel tuo ambiente Azure. RapidClaw Setup distribuisce per impostazione predefinita un piano diretto con modello verificato, e Command Center ti permette di assegnare un modello distribuito per agente. Usa il benchmark per decidere quali modelli meritano un test controllato con agenti. In quel test, verifica l'intero flusso di lavoro, incluse le autorizzazioni dei connettori, le approvazioni, le chiamate a tool e l'uso osservato.

Repository Auto Evaluation di Model Router · Documentazione Microsoft Foundry Model Router

Prodotti e guide correlate