Documentation Index
Fetch the complete documentation index at: https://wb-21fd5541-john-wbdocs-2044-rename-serverless-products.mintlify.app/llms.txt
Use this file to discover all available pages before exploring further.
これはインタラクティブなノートブックです。ローカルで実行するか、以下のリンクを利用できます。
- Weave からトレース、コスト、フィードバック、その他のメトリクスを取得する
- ユーザーフィードバックとコスト分布の集計ビューを作成する
- トークン使用量とレイテンシの時系列可視化を作成する
streamlit をインストールして この本番ダッシュボードスクリプト を実行すれば、自分の Weave プロジェクトでこのダッシュボードを試せます。
このチュートリアルを進めるには、以下のパッケージをインストールするだけで十分です。
!pip install streamlit pandas plotly weave
2.1 Weave クライアントの初期化とコストの定義
- 多くの標準モデルについては標準コストが含まれていますが、独自のカスタムコストやカスタムモデルも簡単に追加できます。以下では、いくつかのモデルにカスタムコストを追加し、それ以外には標準コストを使用する方法を示します。
- コストは、Weave で各 call に対してトラッキングされた token に基づいて計算されます。多くの LLM ベンダーのライブラリでは token usage は自動的にトラッキングされますが、任意の call に対してカスタムの token 数を返すこともできます。カスタムモデルの token 数とコスト計算を定義する方法については、このクックブックを参照してください。custom cost cookbook
PROJECT_NAME = "wandb-smle/weave-cookboook-demo"
python
import weave
MODEL_NAMES = [
# モデル名、プロンプトコスト、補完コスト
("gpt-4o-2024-05-13", 0.03, 0.06),
("gpt-4o-mini-2024-07-18", 0.03, 0.06),
("gemini/gemini-1.5-flash", 0.00025, 0.0005),
("gpt-4o-mini", 0.03, 0.06),
("gpt-4-turbo", 0.03, 0.06),
("claude-3-haiku-20240307", 0.01, 0.03),
("gpt-4o", 0.03, 0.06),
]
def init_weave_client(project_name):
try:
client = weave.init(project_name)
for model, prompt_cost, completion_cost in MODEL_NAMES:
client.add_cost(
llm_id=model,
prompt_token_cost=prompt_cost,
completion_token_cost=completion_cost,
)
except Exception as e:
print(f"プロジェクト '{project_name}' の Weave クライアントの初期化に失敗しました: {e}")
return None
else:
return client
client = init_weave_client(PROJECT_NAME)
2.2 Weave から call データを取得する
- call ごとにデータを取得する
- 高レベル API を使用する
Weave からデータにアクセスする最初の方法は、フィルター済みの calls のリストを取得し、必要なデータを call 単位で抽出することです。そのために、calls_query_stream API を使用して Weave から calls データを取得できます。
calls_query_stream API: この API を使用すると、Weave から calls データを取得できます。filter dictionary: この辞書には、calls データを取得するためのフィルターパラメーターが含まれます。詳しくはこちらを参照してください。expand_columns list: このリストには、calls データ内で展開する列が含まれます。sort_by list: このリストには、calls データの並べ替えパラメーターが含まれます。include_costs boolean: この真偽値は、calls データにコストを含めるかどうかを示します。include_feedback boolean: この真偽値は、calls データにフィードバックを含めるかどうかを示します。
import itertools
from datetime import datetime, timedelta
import pandas as pd
def fetch_calls(client, project_id, start_time, trace_roots_only, limit):
filter_params = {
"project_id": project_id,
"filter": {"started_at": start_time, "trace_roots_only": trace_roots_only},
"expand_columns": ["inputs.example", "inputs.model"],
"sort_by": [{"field": "started_at", "direction": "desc"}],
"include_costs": True,
"include_feedback": True,
}
try:
calls_stream = client.server.calls_query_stream(filter_params)
calls = list(
itertools.islice(calls_stream, limit)
) # callの数が多すぎる場合に取得数を制限する
print(f"Fetched {len(calls)} calls.")
except Exception as e:
print(f"Error fetching calls: {e}")
return []
else:
return calls
calls = fetch_calls(client, PROJECT_NAME, datetime.now() - timedelta(days=1), True, 100)
python
# the raw data is a list of Call objects
pd.DataFrame([call.dict() for call in calls]).head(3)
import json
from datetime import datetime
import pandas as pd
def process_calls(calls):
records = []
for call in calls:
feedback = call.summary.get("weave", {}).get("feedback", [])
thumbs_up = sum(
1
for item in feedback
if isinstance(item, dict) and item.get("payload", {}).get("emoji") == "👍"
)
thumbs_down = sum(
1
for item in feedback
if isinstance(item, dict) and item.get("payload", {}).get("emoji") == "👎"
)
latency = call.summary.get("weave", {}).get("latency_ms", 0)
records.append(
{
"Call ID": call.id,
"Trace ID": call.trace_id, # トレースの一意の ID。取得時に使用できます
"Display Name": call.display_name, # UI またはプログラムから設定できる任意の名前です
"Latency (ms)": latency,
"Thumbs Up": thumbs_up,
"Thumbs Down": thumbs_down,
"Started At": pd.to_datetime(getattr(call, "started_at", datetime.min)),
"Inputs": json.dumps(call.inputs, default=str),
"Outputs": json.dumps(call.output, default=str),
}
)
return pd.DataFrame(records)
python
df_calls = process_calls(calls)
df_calls.head(3)
query_costs API を使用して、プロジェクト内で使用されているすべての LLM のコストを取得します。
# コストAPIを使用してコストを取得する
costs = client.query_costs()
df_costs = pd.DataFrame([cost.dict() for cost in costs])
df_costs["total_cost"] = (
df_costs["prompt_token_cost"] + df_costs["completion_token_cost"]
)
# llm_idごとに最初の行のみ表示する
df_costs
import plotly.express as px
import plotly.graph_objects as go
def plot_feedback_pie_chart(thumbs_up, thumbs_down):
fig = go.Figure(
data=[
go.Pie(
labels=["Thumbs Up", "Thumbs Down"],
values=[thumbs_up, thumbs_down],
marker={"colors": ["#66b3ff", "#ff9999"]},
hole=0.3,
)
]
)
fig.update_traces(textinfo="percent+label", hoverinfo="label+percent")
fig.update_layout(showlegend=False, title="Feedback Summary")
return fig
def plot_model_cost_distribution(df):
fig = px.bar(
df,
x="llm_id",
y="total_cost",
color="llm_id",
title="Cost Distribution by Model",
)
fig.update_layout(xaxis_title="Model", yaxis_title="Cost (USD)")
return fig
# すべてのプロットのソースコードを参照
python
plot_feedback_pie_chart(df_calls["Thumbs Up"].sum(), df_calls["Thumbs Down"].sum())
python
plot_model_cost_distribution(df_costs)
- データ入力:
- @weave-op() デコレータによるフレームワーク非依存のトレースと、CSV から calls を import できる機能 (関連する import cookbook を参照)
- さまざまなプログラミングフレームワークや言語から Weave にログするための Service API エンドポイント。詳細は こちら を参照してください。
- データ出力:
- CSV、TSV、JSONL、JSON 形式でデータを簡単にダウンロードできます。詳細は こちら を参照してください。
- データへのプログラムによるアクセスを使って簡単にエクスポートできます。このクックブックで説明したように、エクスポートパネルの「Use Python」セクションを参照してください。詳細は こちら を参照してください。
このカスタムダッシュボードは Weave のネイティブな Traces view を拡張し、本番環境の LLM アプリケーションを用途に合わせて監視できるようにします。より複雑なダッシュボードに興味がある場合は、独自の Weave プロジェクト URL を追加できる Streamlit の例を このリポジトリ で確認してください。
