SageMaker

Intégrez W&B à Amazon SageMaker pour le suivi des expériences, la journalisation des métriques et la gestion des modèles sur l’infrastructure AWS.

W&B s’intègre à Amazon SageMaker et lit automatiquement les hyperparamètres, regroupe les Runs distribués et reprend les runs à partir des checkpoints.

Authentification

W&B recherche un fichier nommé secrets.env dans le même répertoire que le script d’entraînement et charge son contenu dans l’environnement lorsque wandb.init() est appelé. Vous pouvez générer un fichier secrets.env en appelant wandb.sagemaker_auth(path="source_dir") dans le script que vous utilisez pour lancer vos expériences. Veillez à ajouter ce fichier à votre .gitignore !

Estimateurs existants

Si vous utilisez l’un des estimateurs préconfigurés de SageMaker, vous devez ajouter un fichier requirements.txt à votre répertoire source, incluant wandb

wandb

Si vous utilisez un estimateur qui s’exécute sous Python 2, vous devrez installer psutil directement depuis ce wheel avant d’installer wandb :

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

Consultez un exemple complet sur GitHub et lisez-en plus sur notre blog.

Vous pouvez également consulter le tutoriel Deploy Sentiment Analyzer Using SageMaker and W&B sur le déploiement d’un analyseur de sentiments avec SageMaker et W&B.

L’agent de sweep W&B se comporte comme prévu dans un job SageMaker uniquement si votre intégration SageMaker est désactivée. Désactivez l’intégration SageMaker en modifiant votre appel à wandb.init() :

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))