Comment utiliser wandb avec le multiprocessing, par exemple pour l'entraînement distribué ?

Si un programme d’entraînement utilise plusieurs processus, structurez-le de façon à éviter d’appeler des méthodes wandb depuis des processus qui n’ont pas exécuté wandb.init().

Gérez l’entraînement multiprocessus à l’aide des approches suivantes :

1. Appelez wandb.init dans tous les processus et utilisez l’argument mot-clé group pour créer un groupe partagé. Chaque processus aura son propre run wandb, et l’UI regroupera les processus d’entraînement.
2. Appelez wandb.init dans un seul processus et transmettez les données à journaliser via des files d’attente multiprocessing.

Consultez le guide de l’entraînement distribué pour une explication détaillée de ces approches, y compris des exemples de code avec Torch DDP.

---

Experiments