SageMaker

AWSインフラストラクチャー上で実験管理、メトリクスのログ記録、モデル管理を行うために、W&B を Amazon SageMaker と統合します。

W&B は Amazon SageMaker と統合されており、ハイパーパラメーターを自動的に読み取り、分散 run をグループ化し、チェックポイントから run を再開します。

認証

W&B は、トレーニングスクリプトを基準とした相対パスにある secrets.env という名前のファイルを探し、wandb.init() が呼び出されるとその内容を環境変数として読み込みます。Experiments の起動に使用するスクリプトで wandb.sagemaker_auth(path="source_dir") を呼び出すと、secrets.env ファイルを生成できます。必ずこのファイルを .gitignore に追加してください！

既存の Estimator

SageMaker の事前設定済みの Estimator のいずれかを使用している場合は、wandb を含む requirements.txt をソースディレクトリに追加する必要があります

wandb

Python 2 で実行されている estimator を使用している場合は、wandb をインストールする前に、この wheel から psutil を直接インストールする必要があります。

https://wheels.galaxyproject.org/packages/psutil-5.4.8-cp27-cp27mu-manylinux1_x86_64.whl
wandb

GitHub の完全な例を確認し、詳細はブログをご覧ください。

また、SageMaker と W&B を使って感情分析器をデプロイする方法については、Deploy Sentiment Analyzer Using SageMaker and W&B チュートリアルも参照できます。

W&B の sweep agent が SageMaker ジョブ内で想定どおりに動作するのは、SageMaker インテグレーションがオフになっている場合に限られます。wandb.init() の呼び出しを次のように変更して、SageMaker インテグレーションをオフにしてください。

wandb.init(..., settings=wandb.Settings(sagemaker_disable=True))