Documentation Index
Fetch the complete documentation index at: https://wb-21fd5541-john-wbdocs-2044-rename-serverless-products.mintlify.app/llms.txt
Use this file to discover all available pages before exploring further.
weave / EvaluationLogger
EvaluationLogger permet la journalisation incrémentielle des prédictions et des scores.
Contrairement à la classe Evaluation traditionnelle, qui nécessite un jeu de données défini à l’avance et un traitement par lots,
EvaluationLogger vous permet d’enregistrer les prédictions au fur et à mesure, avec une attribution flexible des scores.
Exemple
const ev = new EvaluationLogger({name: 'my-eval', dataset: 'my-dataset'});
for (const example of streamingData) {
const output = await myModel.predict(example);
const pred = ev.logPrediction(example, output);
if (shouldScore(output)) {
pred.logScore("accuracy", calculateAccuracy(output));
}
pred.finish();
}
await ev.logSummary();
Constructeurs
• new EvaluationLogger(options): EvaluationLogger
| Nom | Type |
|---|
options | EvaluationLoggerOptions |
EvaluationLogger
evaluationLogger.ts:554
Méthodes
▸ logPrediction(inputs, output): ScoreLogger
Journalise une prédiction avec son entrée et sa sortie (version synchrone).
Crée un appel predict_and_score (avec un appel enfant predict).
Renvoie immédiatement un ScoreLogger pour ajouter des scores.
Cette méthode renvoie le ScoreLogger de façon synchrone. Les opérations sur le
ScoreLogger (logScore, finish) seront placées dans la file d’attente et exécutées une fois l’initialisation terminée.
| Nom | Type |
|---|
inputs | Record<string, any> |
output | any |
ScoreLogger
Exemple
// Style « fire-and-forget »
const scoreLogger = evalLogger.logPrediction({input: 'test'}, 'output');
scoreLogger.logScore('accuracy', 0.95);
scoreLogger.finish();
await evalLogger.logSummary(); // Attend la fin de toutes les opérations
▸ logPredictionAsync(inputs, output): Promise<ScoreLogger>
Journalise une prédiction avec son entrée et sa sortie (version asynchrone).
Comme logPrediction(), mais renvoie une Promise qui se résout lorsque
l’appel de prédiction est entièrement initialisé.
Utilisez cette méthode si vous devez attendre l’initialisation avant de continuer.
| Nom | Type |
|---|
inputs | Record<string, any> |
output | any |
Promise<ScoreLogger>
Exemple
// Style awaitable
const scoreLogger = await evalLogger.logPredictionAsync({input: 'test'}, 'output');
await scoreLogger.logScore('accuracy', 0.95);
await scoreLogger.finish();
▸ logSummary(summary?): Promise<void>
Journalise un summary et finalise l’évaluation.
Crée un appel summarize et termine l’appel evaluate.
Cette méthode peut être appelée sans await (fire-and-forget), mais en interne
elle attendra que toutes les opérations en attente soient terminées.
| Nom | Type |
|---|
summary? | Record<string, any> |
Promise<void>
evaluationLogger.ts:767
