アノテーションキュー 内の項目をレビューする

簡素化された review interface を使用してトレース項目を評価し、structured feedback を送信します。

アノテーションキュー は、ドメインエキスパート向けの review interface を提供します。項目を 1 つずつレビューし、表示されたコンテキストを確認して、事前定義されたフィールドを使って structured feedback を送信します。

レビューを完了するために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートでも、プロジェクト全体を詳しく把握していなくても、データのレビューのみに集中できます。

​

Annotation workflow

アノテーターの作業は、LLM のレスポンスの正確さを確認することです。フィードバックは、データに対するアノテーションとして保存されます。

アノテーションキュー を確認するには:

1. チームから提供されたキューのリンクを使用して、共有 アノテーションキュー を開きます。
2. 各項目を確認します。キュー内の項目は、いつでも前後に移動できます。
3. 提供されたアノテーション項目を使用して、アノテーションを送信します。

Weave は、項目を送信すると進捗を自動的に保存します。作業を一時停止して後で再開する必要がある場合は、最初の未完了の項目から自動的に確認が再開されます。すべての項目の確認が完了すると、Annotation Queue 表に作業完了が反映されます。

​

キュー内の項目をレビューする

各項目について、review interface には 2 つのペインが表示されます。

• 選択した入力コンテキスト (プロンプト、ドキュメント、画像など) と、それに対応するモデルのレスポンスまたは判定を表示する トレース ペイン。
• アノテーション フィールドを含む アノテーション エントリフォームが表示される項目ペイン。

キューに対して提供されている指示に従って各 アノテーション フィールドに入力し、送信して次へ をクリックしてこの項目を保存し、次の項目に進みます。

トレース ペインのヘッダーでは、Trace ID の接尾辞 (たとえば “b3ea”) をクリックすると、その call の完全な トレース 詳細を表示するパネルが開きます。このパネルでは、トレース を確認したり、提供された アノテーション を表示または比較したりできます。

いずれかの アノテーター がすでにキュー内の項目をレビューしている場合、review interface の両方のペインヘッダーに Has annotation と Response submitted のインジケーターが表示されます。

他のユーザーがすでにレビューした項目に対しても、引き続き アノテーション を提供できます。この場合、アノテーション の送信ボタンには引き続き Edit annotation と表示されますが、送信するとあなたのレスポンスを含む新しい アノテーション エントリが作成されます。

他のユーザーがすでにレビューした項目にフィードバックを送信すると、そのフィードバックは元の アノテーター のフィードバックに加えて保存されます。