W&B Weave

W&B Weave で言語モデルアプリをトラッキング、テスト、改善

W&B Weave は、LLM アプリケーションのトラッキング、評価、改善を支援する可観測性および評価のプラットフォームです。Weave を使うと、次のことができます。

• 観察とデバッグで LLM アプリケーションを把握する
• LLM judge と custom scorer を使って、アプリケーションの応答を評価する

​

はじめに

以下のドキュメントでは、Weave の各ツールの基本的な使い方を順を追って説明します。

クイックスタート: LLM の入力と出力をトラッキングする

まずは LLM への基本的な call をトレースし、W&B アカウントでデータを確認します。

アプリの評価を始める

Weave scorer を使って評価パイプラインを構築し、アプリケーションのパフォーマンスをテストしてトラッキングする方法を学びます。

RAG アプリケーションを評価する

Weave と LLM judges を使用して RAG アプリケーションを構築・評価し、検索品質を測定します。

​

Weaveをインストール

W&B Weave は、Python と TypeScript のライブラリを提供しています。Weave ライブラリをインストールするには、次のコマンドを実行します。

Python

pip install weave

TypeScript

pnpm install weave

Weave ライブラリの利用を開始するには、Weights & Biases (W&B) アカウント を作成し、User Settings で APIキーを作成 します。APIキーを使用すると、W&B アカウントに認証してデータの送信を開始できます。