Experiment 만들기

Python SDK를 사용해 run 초기화, 하이퍼파라미터, metric logging을 추적하는 W&B 실험을 생성합니다.

W&B Python SDK를 사용해 머신 러닝 실험을 추적하세요. 그런 다음 대화형 대시보드에서 결과를 확인하거나, 데이터를 Python으로 내보내 W&B Public API를 통해 프로그래밍 방식으로 액세스할 수 있습니다.

이 가이드에서는 W&B의 building blocks를 사용해 W&B 실험을 만드는 방법을 설명합니다.

​

W&B 실험을 생성하는 방법

다음 네 단계로 W&B 실험을 생성하세요:

1. W&B run 초기화
2. 하이퍼파라미터 딕셔너리 캡처
3. 트레이닝 루프 안에서 메트릭 기록
4. artifact를 W&B에 기록

​

W&B run 초기화

wandb.init()을 사용해 W&B run을 생성합니다.

다음 스니펫은 “cat-classification”라는 이름의 W&B 프로젝트에서, 이 run을 쉽게 파악할 수 있도록 설명을 “My first experiment”로 지정해 run을 생성합니다. “baseline” 및 “paper1” 태그도 포함되어 있으며, 이 run이 향후 논문 출판을 위한 기준선 실험임을 나타냅니다.

import wandb

with wandb.init(
    project="cat-classification",
    notes="My first experiment",
    tags=["baseline", "paper1"],
) as run:
    ...

wandb.init()은 Run 객체를 반환합니다.

참고: wandb.init()을 호출할 때 해당 프로젝트가 이미 존재하면 Runs는 기존 프로젝트에 추가됩니다. 예를 들어 “cat-classification”이라는 프로젝트가 이미 있으면, 그 프로젝트는 계속 유지되며 삭제되지 않습니다. 대신 해당 프로젝트에 새 run이 추가됩니다.

​

하이퍼파라미터 딕셔너리 기록하기

학습률이나 모델 유형과 같은 하이퍼파라미터를 딕셔너리로 저장합니다. 설정에 저장해 둔 모델 설정은 나중에 결과를 정리하고 쿼리하는 데 유용합니다.

with wandb.init(
    ...,
    config={"epochs": 100, "learning_rate": 0.001, "batch_size": 128},
) as run:
    ...

실험을 설정하는 방법에 대한 자세한 내용은 Experiments 설정을 참조하세요.

​

트레이닝 루프 내에서 메트릭 로깅하기

accuracy, loss와 같은 각 트레이닝 step의 메트릭을 로깅하려면 run.log()을 호출하세요.

model, dataloader = get_model(), get_data()

for epoch in range(run.config.epochs):
    for batch in dataloader:
        loss, accuracy = model.training_step()
        run.log({"accuracy": accuracy, "loss": loss})

W&B에 로깅할 수 있는 다양한 데이터 유형에 대한 자세한 내용은 Experiments 중 데이터 로깅하기를 참조하세요.

​

W&B에 Artifact 로깅하기

선택적으로 W&B Artifact를 로깅할 수 있습니다. Artifacts를 사용하면 데이터셋과 모델의 버전을 쉽게 관리할 수 있습니다.

# 파일이나 디렉토리를 저장할 수 있습니다. 이 예제에서는 모델에
# ONNX 파일을 출력하는 save() 메서드가 있다고 가정합니다.
model.save("path_to_model.onnx")
run.log_artifact("path_to_model.onnx", name="trained-model", type="model")

Artifacts에 대해 자세히 알아보거나 레지스트리에서 모델 버전 관리에 대해 알아보세요.

​

모두 종합하기

앞서 살펴본 코드 스니펫을 모두 포함한 전체 스크립트는 아래와 같습니다:

import wandb

with wandb.init(
    project="cat-classification",
    notes="",
    tags=["baseline", "paper1"],
    # run의 하이퍼파라미터를 기록합니다.
    config={"epochs": 100, "learning_rate": 0.001, "batch_size": 128},
) as run:
    # 모델과 데이터를 설정합니다.
    model, dataloader = get_model(), get_data()

    # 메트릭을 로깅하면서 트레이닝을 실행하여 모델 성능을 시각화합니다.
    for epoch in range(run.config["epochs"]):
        for batch in dataloader:
            loss, accuracy = model.training_step()
            run.log({"accuracy": accuracy, "loss": loss})

    # 트레이닝된 모델을 artifact로 업로드합니다.
    model.save("path_to_model.onnx")
    run.log_artifact("path_to_model.onnx", name="trained-model", type="model")

​

다음 단계: 실험 시각화

W&B 대시보드를 머신 러닝 모델의 결과를 정리하고 시각화하는 중앙 공간으로 활용하세요. 몇 번만 클릭하면 병렬 좌표 플롯, 파라미터 중요도 분석, 기타 차트 유형과 같은 풍부한 대화형 차트를 만들 수 있습니다.

실험과 특정 run을 확인하는 방법에 대한 자세한 내용은 실험 결과 시각화를 참조하세요.

​

모범 사례

다음은 Experiments를 만들 때 고려할 만한 몇 가지 권장 사항입니다:

1. run 완료하기: wandb.init()를 with 문에서 사용하면 코드 실행이 끝나거나 예외가 발생했을 때 run이 자동으로 완료된 것으로 표시됩니다.

   • Jupyter notebook에서는 Run 객체를 직접 관리하는 편이 더 편리할 수 있습니다. 이 경우 Run 객체에서 finish()를 명시적으로 호출해 완료된 것으로 표시할 수 있습니다:

     # notebook cell에서:
     run = wandb.init()
     
     # 다른 cell에서:
     run.finish()
     
2. 설정: 하이퍼파라미터, 아키텍처, 데이터셋, 그리고 모델을 재현하는 데 필요한 기타 정보를 Track하세요. 이 정보는 column에 표시되며, 앱에서 설정 column을 사용해 run을 동적으로 그룹화, 정렬, Filter할 수 있습니다.
3. 프로젝트: 프로젝트는 함께 비교할 수 있는 실험의 집합입니다. 각 프로젝트에는 전용 대시보드 페이지가 제공되며, 서로 다른 모델 버전을 비교할 수 있도록 여러 run 그룹을 쉽게 켜고 끌 수 있습니다.
4. Notes: 스크립트에서 바로 간단한 커밋 메시지를 설정하세요. W&B App의 run에 있는 Overview section에서 notes를 편집하고 확인할 수 있습니다.
5. Tags: 기준 run과 중요 run을 파악하세요. tags를 사용해 run을 Filter할 수 있습니다. W&B App의 프로젝트 대시보드에 있는 Overview section에서 나중에 tags를 편집할 수도 있습니다.
6. 실험 비교를 위해 여러 run 세트 만들기: 실험을 비교할 때는 메트릭을 더 쉽게 비교할 수 있도록 여러 run 세트를 만드세요. 동일한 차트 또는 차트 그룹에서 run 세트를 켜거나 끌 수 있습니다.

다음 코드 스니펫은 위에 나열한 모범 사례에 따라 W&B 실험을 정의하는 방법을 보여줍니다:

import wandb

config = {
    "learning_rate": 0.01,
    "momentum": 0.2,
    "architecture": "CNN",
    "dataset_id": "cats-0192",
}

with wandb.init(
    project="detect-cats",
    notes="tweak baseline",
    tags=["baseline", "paper1"],
    config=config,
) as run:
    ...

W&B 실험을 정의할 때 사용 가능한 매개변수에 대한 자세한 내용은 API 레퍼런스 가이드의 wandb.init() API 문서를 참조하세요.