multiprocessing(예: 분산 트레이닝)에서 wandb를 사용하려면 어떻게 해야 하나요?

트레이닝 프로그램이 여러 프로세스를 사용하는 경우, wandb.init()를 호출하지 않은 프로세스에서 wandb 메서드를 호출하지 않도록 프로그램을 구성하세요.

다음과 같은 방식으로 멀티프로세스 트레이닝을 관리할 수 있습니다:

1. 모든 프로세스에서 wandb.init를 호출하고 group 키워드 인수를 사용해 공유 그룹을 만듭니다. 각 프로세스는 자체 wandb run을 가지며, UI에서 이 트레이닝 프로세스들이 함께 그룹화됩니다.
2. 하나의 프로세스에서만 wandb.init를 호출하고, 로그할 데이터는 multiprocessing queues를 통해 전달합니다.

Torch DDP 코드 예제를 포함한 이러한 방식의 자세한 설명은 Distributed Training Guide를 참고하세요.

---

Experiments