multiprocessing（分散トレーニングなど）で wandb を使用するには？

トレーニングプログラムで複数のプロセスを使用する場合は、wandb.init() を実行していないプロセスから wandb の method を呼び出さないようにプログラムを構成してください。

マルチプロセスのトレーニングは、次の方法で管理できます。

1. すべてのプロセスで wandb.init を呼び出し、group キーワード引数を使用して共有グループを作成します。各プロセスはそれぞれ独自の wandb run を持ち、UI ではそれらのトレーニングプロセスがグループ化されて表示されます。
2. 1 つのプロセスでのみ wandb.init を呼び出し、ログするデータを multiprocessing queues 経由で渡します。

これらの方法の詳細な説明については、Torch DDP を使ったコード例を含む Distributed Training Guide を参照してください。

---

Experiments