원격 교육 및 모니터링 Ultralytics YOLOv5 사용 ClearML

Ultralytics 에서는 다른 스타트업과 상업적 파트너십을 맺어 누구나 무료로 사용할 수 있는 YOLOv5 과 같은 멋진 오픈 소스 도구의 연구 개발 자금을 지원하고 있습니다. 이 문서에는 해당 파트너의 제휴 링크가 포함되어 있을 수 있습니다.

ClearML 는 시간을 절약할 수 있도록 설계된 오픈소스 도구 상자인 최신 파트너입니다.

ClearML 는 ML 도입을 가속화한다는 사명을 가지고 ML을 모든 소프트웨어 및 하드웨어 제품에 원활하게 통합할 수 있도록 지원합니다.

이 통합을 통해 훨씬 더 간단하게 모델을 훈련하고 YOLOv5 모델을 훈련하고 ClearML 실험 관리자를 사용하여 자동으로 추적할 수 있습니다. ClearML 데이터 세트 버전 ID를 데이터 입력으로 쉽게 지정할 수 있으며, 이 데이터는 자동으로 모델 훈련에 사용됩니다.

실험 추적을 한 단계 업그레이드하세요.

• 실험 관리자에서 실행된 모든 YOLOv5 교육을 추적하세요.
• 통합된 ClearML 데이터 버전 관리 도구를 사용하여 사용자 지정 교육 데이터를 버전 관리하고 쉽게 액세스할 수 있습니다.
• ClearML 하이퍼파라미터 최적화를 사용하여 최상의 mAP를 얻으세요.
• ClearML Serving을 사용하여 몇 가지 명령만으로 새로 학습된 YOLOv5 모델을 API로 전환하세요.

이러한 도구를 몇 개나 사용할지는 실험 관리자만 사용할지, 아니면 모두 함께 연결하여 인상적인 파이프라인으로 만들지는 여러분의 선택에 달려 있습니다.

설정하기

실험과 데이터를 추적하려면 ClearML 서버와 통신해야 합니다. 이를 위한 두 가지 옵션이 있습니다. ClearML 호스팅 서비스에 무료로 가입하거나 자체 서버를 설정하세요( 여기를 참조하세요).

서버도 오픈 소스이기 때문에 민감한 데이터를 다루는 경우에도 문제 없습니다!

1. clearml python 패키지 설치: pip 설치 clearml
2. 자격 증명을 생성하여 ClearML SDK를 서버에 연결한 다음(오른쪽 상단에서 설정 -> 작업 영역 -> 새 자격 증명 생성으로 이동), 아래 명령을 실행하고 지침을 따릅니다: clearml-init

그리고 짜잔! 시작할 준비가 되었습니다...

교육 YOLOv5 함께 ClearML

ClearML 실험 추적을 사용하려면 ClearML pip 패키지를 설치하기만 하면 됩니다.

pip 설치 clearml

이렇게 하면 YOLOv5 교육 스크립트와 통합할 수 있습니다. 이제부터 실행되는 모든 교육은 ClearML 실험 관리자에 의해 캡처되고 저장됩니다. 프로젝트 이름 또는 작업 이름을 변경하려면 사용자 지정 로거로 이동하여 변경할 수 있습니다(utils/loggers/clearml/clearml_utils.py).

python train.py --img 640 --배치 16 --에포크 3 --데이터 코코128.yaml --가중치 yolov5s.pt --cache

이렇게 하면 캡처됩니다:

• 소스 코드 + 커밋되지 않은 변경 사항
• 설치된 패키지
• (하이퍼)매개변수
• 모델 파일(--save-period n을 사용하여 n개의 에포크마다 체크포인트 저장)
• 콘솔 출력
• 스칼라(mAP_0.5, mAP_0.5:0.95, 정밀도, 리콜, 손실, 학습률, ...)
• 머신 세부 정보, 런타임, 생성 날짜 등의 일반 정보를 확인할 수 있습니다.
• 라벨 상관관계도 및 혼동 행렬과 같은 모든 생성된 도표
• 시대별 경계 상자가 있는 이미지
• 시대별 모자이크
• 시대별 유효성 검사 이미지

나쁘지 않네요! 이제 ClearML UI에서 이 모든 정보를 시각화하여 훈련 진행 상황을 한눈에 파악할 수 있습니다. 테이블 보기에 사용자 지정 열(예: mAP_0.5)을 추가하여 가장 성과가 좋은 모델을 쉽게 정렬할 수 있습니다. 또는 여러 실험을 선택하여 직접 비교할 수도 있습니다!

하이퍼파라미터 최적화 및 원격 실행 등 이 모든 정보로 할 수 있는 일이 훨씬 더 많으니 계속 읽어보시고 방법을 알아보세요!

데이터 세트 버전 관리

데이터를 코드와 별도로 버전 관리하는 것은 일반적으로 좋은 생각이며 최신 버전을 쉽게 얻을 수 있습니다. 이 리포지토리는 데이터 집합 버전 ID 제공을 지원하며, 아직 버전이 없는 경우 데이터를 가져올 수 있습니다. 또한 이 워크플로에서는 사용된 데이터 세트 ID를 작업 매개변수의 일부로 저장하므로 어떤 데이터가 어떤 실험에 사용되었는지 항상 확실히 알 수 있습니다!

데이터 집합 준비

YOLOv5 리포지토리는 해당 정보가 포함된 YAML 파일을 사용하여 다양한 데이터 집합을 지원합니다. 기본적으로 데이터 세트는 리포지토리 루트 폴더와 관련된 ../datasets 폴더에 다운로드됩니다. 따라서 YAML의 링크를 사용하거나 yolov5 에서 제공하는 스크립트를 사용하여 coco128 데이터셋을 다운로드한 경우 이 폴더 구조를 갖게 됩니다:

...
|_ yolov5
|_ 데이터셋
|_ 코코128
|_ 이미지
|_ 레이블
|_ 라이선스
|_ README.txt

하지만 원하는 데이터 세트는 무엇이든 상관없습니다. 이 폴더 구조만 지키면 자유롭게 사용해도 됩니다.

그런 다음 해당 YAML 파일을 folder⚠️ 데이터 집합의 루트에 ⚠️copy 업로드합니다. 이 YAML 파일에는 ClearML 에서 데이터 집합을 올바르게 사용하는 데 필요한 정보가 포함되어 있습니다. 물론 예제 YAML의 구조를 따라 직접 만들 수도 있습니다.

기본적으로 경로, 트레인, 테스트, 밸, 엔씨, 이름 키가 필요합니다.

..
|_ yolov5
|_ datasets
    |_ coco128
        |_ images
        |_ labels
        |_ coco128.yaml # <---- HERE!
        |_ LICENSE
        |_ README.txt

데이터 세트 업로드

이 데이터셋을 ClearML 에 버전이 지정된 데이터셋으로 가져오려면 데이터셋 루트 폴더로 이동하여 다음 명령을 실행합니다:

cd 코코128

clearml-데이터 동기화 -프로젝트 YOLOv5 --이름 코코128 -폴더 .

clearml-데이터 동기화 명령은 사실 단축 명령입니다. 이러한 명령을 차례로 실행할 수도 있습니다:

# 선택적으로 --parent를 추가하여 기본으로 설정할 수 있습니다.

# 다른 데이터세트 버전에 이 버전을 추가하면 중복 파일이 업로드되지 않습니다!

clearml-데이터 생성 --이름 코코128 -프로젝트 YOLOv5/p>

clearml-데이터 추가 --files .

clearml-데이터 닫기

ClearML 데이터 세트를 사용하여 교육 실행

이제 ClearML 데이터 집합이 생겼으므로 이를 사용하여 아주 간단하게 사용자 지정 YOLOv5 모델을 학습시킬 수 있습니다.

python train.py --img 640 --배치 16 --에포크 3 -데이터 clearml:// --weights yolov5s.pt --cache

하이퍼파라미터 최적화

이제 실험과 데이터 버전을 확보했으니 그 위에 무엇을 구축할 수 있는지 살펴볼 차례입니다!

코드 정보, 설치된 패키지 및 환경 세부 정보를 사용하여 이제 실험 자체를 완전히 재현할 수 있습니다. 실제로 ClearML 에서 실험을 복제하고 매개변수까지 변경할 수 있습니다. 그런 다음 새로운 매개변수로 실험을 자동으로 다시 실행하면 됩니다. 이것이 바로 HPO가 하는 일입니다!

하이퍼파라미터 최적화를 로컬에서 실행할 수 있도록 미리 만들어진 스크립트가 포함되어 있습니다. 트레이닝 작업을 한 번 이상 실행한 적이 있는지 확인하고 ClearML 실험 관리자에서 해당 작업을 복제하여 하이퍼파라미터를 변경하기만 하면 됩니다.

utils/loggers/clearml/hpo.py에 있는 스크립트에서 이 템플릿 작업의 ID를 입력한 다음 실행하기만 하면 됩니다. task.execute_locally()를 task.execute()로 변경하여 ClearML 대기열에 넣고 원격 에이전트가 대신 작업하도록 할 수 있습니다.

# 옵투나를 사용하려면 먼저 옵투나를 설치하세요. 그렇지 않으면 옵투나를 RandomSearch pip 설치로 변경할 수 있습니다. python utils/loggers/clearml/hpo.py.

원격 실행(고급)

로컬에서 HPO를 실행하는 것은 정말 편리하지만, 대신 원격 컴퓨터에서 실험을 실행하고 싶다면 어떻게 해야 할까요? 현장에서 매우 강력한 GPU 머신에 액세스할 수 있거나 클라우드 GPU를 사용할 수 있는 예산이 있을 수도 있습니다. 이때 ClearML 에이전트가 유용합니다.

여기에서 상담원이 할 수 있는 일을 확인하세요:

• YouTube 동영상
• 문서

간단히 말해, 실험 관리자가 추적하는 모든 실험에는 다른 머신에서 재현할 수 있는 충분한 정보(설치된 패키지, 커밋되지 않은 변경 사항 등)가 포함되어 있습니다. 따라서 ClearML 에이전트는 대기열에서 들어오는 작업을 대기하고 있다가 작업을 발견하면 환경을 재현하여 실행하는 동시에 스칼라, 플롯 등을 실험 관리자에게 보고합니다.

클라우드 VM, 로컬 GPU 머신, 개인 노트북 등 어떤 머신이든 간단히 실행하여 ClearML 에이전트로 전환할 수 있습니다:

clearml-에이전트 데몬 --큐 [--docker]

복제, 편집 및 대기열에 넣기

에이전트가 실행되면 에이전트에 작업을 부여할 수 있습니다. HPO 섹션에서 작업을 복제하고 하이퍼파라미터를 편집할 수 있다는 것을 기억하시나요? 인터페이스에서도 이 작업을 수행할 수 있습니다!

실험을 마우스 오른쪽 버튼으로 클릭하여 복제합니다.

🎯 하이퍼파라미터를 원하는 대로 편집합니다.

작업을 마우스 오른쪽 버튼으로 클릭하여 대기열에 대기열에 추가합니다.

원격으로 작업 실행하기

이제 위에서 설명한 대로 작업을 복제하거나 task.execute_remotely()를 추가하여 현재 스크립트를 표시하면 실행 시 에이전트가 작업을 시작할 수 있도록 대기열에 넣을 수 있습니다!

YOLOv5 교육 스크립트를 원격으로 실행하려면 ClearML 로거가 인스턴스화된 후 training.py 스크립트에 이 줄을 추가하기만 하면 됩니다:

# ... # Loggers data_dict = None if RANK in {-1, 0}: loggers = Loggers(save_dir, weights, opt, hyp, LOGGER) # loggers instance if loggers.clearml: loggers.clearml.task.execute_remotely(queue='my_queue') # <------ ADD THIS LINE # Data_dict is either None is user did not choose for ClearML dataset or is filled in by ClearML data_dict = loggers.clearml.data_dict # ...

이 변경 후 교육 스크립트를 실행할 때 python 은 해당 줄까지만 스크립트를 실행하고 그 이후에는 코드를 패키징하여 대기열로 대신 전송합니다!

자동 확장 작업자

ClearML 자동 스케일러도 함께 제공됩니다! 이 도구는 대기열에서 실험이 감지될 때마다 선택한 클라우드(AWS, GCP, Azure)에서 새 원격 머신을 자동으로 스핀업하여 ClearML 에이전트로 전환합니다. 작업이 처리되면 자동 스케일러가 원격 머신을 자동으로 종료하고 사용자는 비용을 지불하지 않아도 됩니다! 아래에서 자동 스케일러 시작하기 동영상을 확인하세요.

질문이 있으신가요? 지금 바로 커뮤니티에 가입하여 질문을 남겨주세요!

‍