Databricks

Intégrez W&B à Databricks pour le suivi des expériences, la journalisation des métriques et la gestion des modèles sur des clusters Spark.

W&B s’intègre à Databricks en adaptant l’expérience des notebooks Jupyter de W&B à l’environnement Databricks.

Configurer Databricks

1. Installez wandb sur le cluster

   Accédez à la configuration de votre cluster, sélectionnez votre cluster, puis cliquez sur Libraries. Cliquez sur Install New, choisissez PyPI, puis ajoutez le package wandb.

2. Configurez l’authentification

   Pour authentifier votre compte W&B, vous pouvez ajouter un secret Databricks que vos notebooks pourront consulter.

   # installer la CLI Databricks
   pip install databricks-cli
   
   # Générer un token depuis l'UI Databricks
   databricks configure --token
   
   # Créer un scope avec l'une des deux commandes (selon que les fonctionnalités de sécurité sont activées ou non sur Databricks) :
   # avec l'extension de sécurité
   databricks secrets create-scope --scope wandb
   # sans l'extension de sécurité
   databricks secrets create-scope --scope wandb --initial-manage-principal users
   
   # Créer une clé API à l'adresse https://wandb.ai/settings
   databricks secrets put --scope wandb --key api_key
   

Exemples

Exemple simple

import os
import wandb

api_key = dbutils.secrets.get("wandb", "api_key")
wandb.login(key=api_key)

with wandb.init() as run:
    run.log({"foo": 1})

Sweeps

Configuration requise (temporairement) pour les notebooks qui essaient d’utiliser wandb.sweep() ou wandb.agent() :

import os

# Ces lignes ne seront plus nécessaires à l'avenir
os.environ["WANDB_ENTITY"] = "my-entity"
os.environ["WANDB_PROJECT"] = "my-project-that-exists"