Aperçu des graphiques personnalisés

Créez des graphiques personnalisés dans des projets W&B avec des visualisations Vega

Créez des graphiques personnalisés dans votre projet W&B. Enregistrez des tableaux de données de tout type et visualisez-les exactement comme vous le souhaitez. Contrôlez les détails des polices, des couleurs et des info-bulles grâce à toute la puissance de Vega.

• Code : Essayez un notebook Colab d’exemple.
• Vidéo : Regardez une vidéo de guide pas à pas.
• Exemple : Notebook de démo rapide pour Keras et Sklearn

​

Comment ça marche

1. Journaliser les données : depuis votre script, journalisez les données de configuration et de summary.
2. Personnaliser le graphique : récupérez les données journalisées à l’aide d’une requête GraphQL. Visualisez les résultats de votre requête avec Vega, une puissante grammaire de visualisation.
3. Journaliser le graphique : appelez votre propre préréglage depuis votre script avec wandb.plot_table().

Si vous ne voyez pas les données attendues, il se peut que la colonne recherchée ne soit pas journalisée dans les runs sélectionnés. Enregistrez votre graphique, revenez au tableau des runs, puis vérifiez les runs sélectionnés à l’aide de l’icône œil.

​

Journaliser des graphiques à partir d’un script

​

Préréglages intégrés

W&B propose plusieurs préréglages de graphiques intégrés que vous pouvez journaliser directement depuis votre script. Il s’agit notamment de graphiques en courbes, de nuages de points, de diagrammes à barres, d’histogrammes, de courbes PR et de courbes ROC.

Graphique en courbes

wandb.plot.line()

Journalisez un graphique en courbes personnalisé : une liste de points reliés et ordonnés (x, y) sur des axes x et y arbitraires.

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(x_values, y_values)]
  table = wandb.Table(data=data, columns=["x", "y"])
  run.log(
      {
          "my_custom_plot_id": wandb.plot.line(
              table, "x", "y", title="Custom Y vs X Line Plot"
          )
      }
  )

Un graphique en courbes enregistre des courbes sur deux dimensions quelconques. Si vous tracez deux listes de valeurs l’une par rapport à l’autre, le nombre de valeurs dans les listes doit correspondre exactement (par exemple, chaque point doit avoir un x et un y).

Voir un exemple dans Reports ou essayer un exemple de notebook Google Colab.

Nuage de points

wandb.plot.scatter()

Ajoutez au journal un graphique de dispersion personnalisé : une liste de points (x, y) sur une paire d’axes x et y arbitraires.

with wandb.init() as run:
  data = [[x, y] for (x, y) in zip(class_x_prediction_scores, class_y_prediction_scores)]
  table = wandb.Table(data=data, columns=["class_x", "class_y"])
  run.log({"my_custom_id": wandb.plot.scatter(table, "class_x", "class_y")})

Vous pouvez utiliser ceci pour journaliser des points sur n’importe quelles deux dimensions d’un nuage de points. Notez que si vous représentez deux listes de valeurs l’une par rapport à l’autre, le nombre de valeurs dans les listes doit correspondre exactement (par exemple, chaque point doit avoir un x et un y).

Voir un exemple de rapport ou essayer un notebook Google Colab d’exemple.

Diagramme en barres

wandb.plot.bar()

Enregistrez dans le journal un graphique à barres personnalisé — une liste de valeurs étiquetées représentées sous forme de barres — directement en quelques lignes :

with wandb.init() as run:
  data = [[label, val] for (label, val) in zip(labels, values)]
  table = wandb.Table(data=data, columns=["label", "value"])
  run.log(
      {
          "my_bar_chart_id": wandb.plot.bar(
              table, "label", "value", title="Custom Bar Chart"
          )
      }
  )

Vous pouvez utiliser ceci pour journaliser n’importe quels graphiques en barres. Notez que le nombre de libellés et de valeurs dans les listes doit correspondre exactement (par exemple, chaque point de données doit avoir les deux).

Voir un exemple de rapport ou essayer un notebook d’exemple Google Colab.

Histogramme

wandb.plot.histogram()

Enregistrez un histogramme personnalisé — répartissez une liste de valeurs dans des classes selon leur nombre/la fréquence d’occurrence — directement en quelques lignes. Supposons que j’aie une liste de scores de confiance de prédiction (scores) et que je veuille visualiser leur distribution :

with wandb.init() as run:
  data = [[s] for s in scores]
  table = wandb.Table(data=data, columns=["scores"])
  run.log({"my_histogram": wandb.plot.histogram(table, "scores", title=None)})

Vous pouvez utiliser ceci pour enregistrer des histogrammes quelconques. Notez que data est une liste de listes, conçue pour représenter un tableau 2D de lignes et de colonnes.

Voir un exemple de rapport ou essayer un notebook Google Colab d’exemple.

Courbe précision-rappel

wandb.plot.pr_curve()

Créez une courbe de précision-rappel en une seule ligne :

with wandb.init() as run:
  plot = wandb.plot.pr_curve(ground_truth, predictions, labels=None, classes_to_plot=None)

  run.log({"pr": plot})

Vous pouvez journaliser cela dès que votre code a accès à :

• aux scores prédits d’un modèle (predictions) sur un ensemble d’exemples
• aux étiquettes de référence correspondantes (ground_truth) pour ces exemples
• (facultatif) à une liste d’étiquettes/noms de classes (labels=["cat", "dog", "bird"...] si l’indice d’étiquette 0 correspond à cat, 1 à dog, 2 à bird, etc.)
• (facultatif) à un sous-ensemble des étiquettes à visualiser dans le graphique (toujours au format liste)

Voir un exemple de rapport ou essayer un notebook Google Colab d’exemple.

Courbe ROC

wandb.plot.roc_curve()

Créez une courbe ROC en une seule ligne :

with wandb.init() as run:
  # ground_truth est une liste d'étiquettes réelles, predictions est une liste de scores prédits
  ground_truth = [0, 1, 0, 1, 0, 1]
  predictions = [0.1, 0.4, 0.35, 0.8, 0.7, 0.9]

  # Créer le graphique de la courbe ROC
  # labels est une liste facultative de noms de classes, classes_to_plot est un sous-ensemble facultatif de ces étiquettes à visualiser
  plot = wandb.plot.roc_curve(
      ground_truth, predictions, labels=None, classes_to_plot=None
  )

  run.log({"roc": plot})

Vous pouvez journaliser ces données chaque fois que votre code a accès à :

• aux scores de prédiction d’un modèle (predictions) sur un ensemble d’exemples
• aux étiquettes de vérité terrain correspondantes (ground_truth) pour ces exemples
• (facultatif) à une liste des étiquettes/noms de classes (labels=["cat", "dog", "bird"...] si l’indice d’étiquette 0 correspond à chat, 1 = chien, 2 = oiseau, etc.)
• (facultatif) à un sous-ensemble de ces étiquettes (toujours au format liste) à visualiser sur le graphique

Voir un exemple de Report ou essayer un notebook Google Colab d’exemple.

​

Préréglages personnalisés

Modifiez un préréglage intégré, ou créez un nouveau préréglage, puis enregistrez le graphique. Utilisez l’ID du graphique pour journaliser des données dans ce préréglage personnalisé directement depuis votre script. Essayez un notebook d’exemple Google Colab.

# Créer un tableau avec les colonnes à tracer
table = wandb.Table(data=data, columns=["step", "height"])

# Associer les colonnes du tableau aux champs du graphique
fields = {"x": "step", "value": "height"}

# Utiliser le tableau pour remplir le nouveau préréglage de graphique personnalisé
# Pour utiliser votre propre préréglage de graphique enregistré, modifiez le vega_spec_name
my_custom_chart = wandb.plot_table(
    vega_spec_name="carey/new_chart",
    data_table=table,
    fields=fields,
)

​

Journaliser des données

Vous pouvez journaliser les types de données suivants depuis votre script et les utiliser dans un graphique personnalisé :

• Config : paramètres initiaux de votre expérience (vos variables indépendantes). Cela inclut tous les champs nommés que vous avez journalisés comme clés dans wandb.Run.config au début de votre entraînement. Par exemple : wandb.Run.config.learning_rate = 0.0001
• Summary : valeurs uniques journalisées pendant l’entraînement (vos résultats ou variables dépendantes). Par exemple, wandb.Run.log({"val_acc" : 0.8}). Si vous écrivez dans cette clé plusieurs fois pendant l’entraînement via wandb.Run.log(), la valeur de Summary est définie sur la dernière valeur de cette clé.
• History : la série temporelle complète du scalaire journalisé est disponible dans la requête via le champ history
• summaryTable : si vous devez journaliser une liste de plusieurs valeurs, utilisez wandb.Table() pour journaliser ces données, puis interrogez-la dans votre panneau personnalisé.
• historyTable : si vous devez consulter les données d’historique, interrogez historyTable dans le panneau de votre graphique personnalisé. Chaque fois que vous appelez wandb.Table() ou journalisez un graphique personnalisé, vous créez un nouveau tableau dans l’historique pour cette étape.

​

Comment journaliser un tableau personnalisé

Utilisez wandb.Table() pour journaliser vos données sous la forme d’un tableau 2D. En général, chaque ligne de ce tableau représente un point de données, et chaque colonne correspond aux champs/dimensions pertinents de chaque point de données que vous souhaitez représenter. Lorsque vous configurez un panneau personnalisé, l’intégralité du tableau est accessible via la clé nommée transmise à wandb.Run.log() (custom_data_table ci-dessous), et chaque champ individuel est accessible via les noms de colonne (x, y et z). Vous pouvez journaliser des tableaux à plusieurs étapes au cours de votre expérience. La taille maximale de chaque tableau est de 10 000 lignes. Essayez un exemple dans Google Colab.

with wandb.init() as run:
  # Enregistrement d'un tableau de données personnalisé
  my_custom_data = [[x1, y1, z1], [x2, y2, z2]]
  run.log(
      {"custom_data_table": wandb.Table(data=my_custom_data, columns=["x", "y", "z"])}
  )

​

Personnaliser le graphique

Pour commencer, ajoutez un nouveau graphique personnalisé, puis modifiez la requête pour sélectionner les données à partir de vos runs visibles. La requête utilise GraphQL pour récupérer des données à partir des champs configuration, summary et historique de vos runs.

​

Visualisations personnalisées

Sélectionnez Chart dans le coin supérieur droit pour partir d’un préréglage par défaut. Ensuite, sélectionnez Chart fields pour associer les données extraites de la requête aux champs correspondants de votre graphique.

L’image suivante montre comment sélectionner une métrique, puis l’associer aux champs du diagramme à barres ci-dessous.

​

Comment modifier Vega

Cliquez sur Modifier en haut du panneau pour passer en mode d’édition Vega. Vous pouvez y définir une spécification Vega qui crée un graphique interactif dans l’interface. Vous pouvez modifier n’importe quel aspect du graphique. Par exemple, vous pouvez modifier le titre, choisir une autre palette de couleurs ou afficher les courbes sous forme d’une série de points plutôt que de lignes reliées. Vous pouvez également modifier les données elles-mêmes, par exemple en utilisant une transformation Vega pour répartir un tableau de valeurs en classes dans un histogramme. L’aperçu du panneau se met à jour de manière interactive, ce qui vous permet de voir l’effet de vos modifications à mesure que vous modifiez la spécification Vega ou la requête. Reportez-vous à la documentation et aux tutoriels Vega .

Références de champ

Pour importer des données de W&B dans votre graphique, ajoutez des chaînes de caractères de la forme "${field:<field-name>}" n’importe où dans votre spécification Vega. Cela crée une liste déroulante dans la zone Champs du graphique à droite, que les utilisateurs peuvent utiliser pour sélectionner une colonne de résultat de requête à mapper dans Vega.

Pour définir une valeur par défaut pour un champ, utilisez cette syntaxe : "${field:<field-name>:<placeholder text>}"

​

Enregistrement des préréglages de graphique

Appliquez les modifications à un panneau de visualisation spécifique à l’aide du bouton situé en bas de la fenêtre modale. Vous pouvez également enregistrer la spécification Vega pour la réutiliser ailleurs dans votre projet. Pour enregistrer une définition de graphique réutilisable, cliquez sur Save as en haut de l’éditeur Vega, puis donnez un nom à votre préréglage.

​

Articles et guides

1. L’IDE de visualisation en machine learning de W&B
2. Visualiser des modèles de NLP basés sur l’attention
3. Visualiser l’effet de l’attention sur le flux des gradients
4. Journaliser des courbes arbitraires

​

Cas d’usage courants

• Personnaliser des graphiques en barres avec des barres d’erreur
• Afficher des métriques de validation du modèle qui nécessitent des coordonnées x-y spécifiques (comme les courbes précision-rappel)
• Superposer sous forme d’histogrammes des distributions de données issues de deux modèles ou expériences différents
• Afficher l’évolution d’une métrique à partir d’instantanés pris à différents moments de l’entraînement
• Créer une visualisation unique qui n’est pas encore disponible dans W&B (et, espérons-le, la partager avec tout le monde)