하이퍼파라미터 조정

하이퍼파라미터 이해

하이퍼파라미터는 모델의 복잡성이나 학습 속도와 같은 모델의 상위 수준의 속성을 정의합니다. 일반적인 예로는 최적화 알고리즘에 사용되는 학습 속도, 모델 매개변수를 업데이트하기 전에 처리할 샘플 수를 결정하는 배치 크기, 신경망의 레이어 수 또는 드롭아웃 레이어 사용과 같은 정규화 기술의 강도를 들 수 있습니다. 하이퍼파라미터의 선택은 모델 결과에 큰 영향을 미칩니다. 잘못된 선택은 모델이 너무 단순하여 데이터 패턴을 포착하지 못하는 과소적합 또는 모델이 노이즈를 포함한 학습 데이터를 너무 잘 학습하여 테스트 데이터로 일반화하지 못하는 과적합으로 이어질 수 있습니다.

하이퍼파라미터 튜닝이 중요한 이유

효과적인 하이퍼파라미터 튜닝은 고성능 ML 모델을 구축하는 데 필수적입니다. 잘 튜닝된 모델은 정확도가 향상되고, 학습 중 수렴이 빨라지며, 보이지 않는 데이터에 대한 일반화가 개선됩니다. 다음과 같은 모델을 사용하는 객체 감지와 같은 복잡한 작업의 경우 Ultralytics YOLO와 같은 모델을 사용하는 개체 감지와 같은 복잡한 작업의 경우 최적의 하이퍼파라미터를 찾으면 실시간 추론이 필요한 애플리케이션에 중요한 평균 정밀도(mAP) 및 추론 속도와 같은 성능 메트릭을 크게 향상시킬 수 있습니다. 목표는 편향성-편차 트레이드오프와 같은 트레이드오프를 탐색하여 주어진 문제와 데이터 세트에 대한 최적의 지점을 찾는 것이며, 종종 검증 데이터를 사용하여 평가합니다.

하이퍼파라미터 튜닝을 위한 기술

최적의 하이퍼파라미터 값을 찾기 위한 몇 가지 전략이 존재합니다:

• 그리드 검색: 지정된 하이퍼파라미터 값의 가능한 모든 조합을 철저하게 시도합니다. 간단하지만 계산 비용이 많이 듭니다.
• 무작위 검색: 지정된 분포에서 하이퍼파라미터 조합을 무작위로 샘플링합니다. 그리드 검색보다 더 효율적인 경우가 많습니다.
• 베이지안 최적화: 목적 함수(예: 모델 정확도)의 확률적 모델을 구축하고 이를 사용하여 다음에 평가할 유망한 하이퍼파라미터를 선택합니다. Optuna와 같은 도구가 이를 구현합니다.
• 진화 알고리즘: 돌연변이 및 크로스오버와 같은 생물학적 진화에서 영감을 얻은 개념을 사용하여 하이퍼파라미터 세트의 집단을 반복적으로 개선합니다. Ultralytics YOLO 모델은 하이퍼파라미터 진화를 위해 이 개념을 활용합니다.

Weights & Biases 스윕과 같은 도구, ClearML, Comet및 KerasTuner와 같은 도구는 이러한 튜닝 프로세스를 자동화하고 관리하는 데 도움이 되며, 종종 다음과 같은 프레임워크와 통합됩니다. PyTorch 및 TensorFlow.

하이퍼파라미터 튜닝과 관련 개념 비교

하이퍼파라미터 튜닝을 관련 ML 개념과 구별하는 것이 중요합니다:

• 모델 훈련: 하이퍼파라미터 튜닝은 학습을 위한 조건(예: 학습 속도, 배치 크기)을 설정합니다. 모델 학습은 선택한 하이퍼파라미터와 최적화 알고리즘을 사용하여 데이터를 기반으로 모델 매개변수weights and biases)를 학습하는 프로세스입니다.
• 최적화 알고리즘(Adam, SGD): 이러한 알고리즘은 손실 함수를 기반으로 학습하는 동안 모델 매개변수를 업데이트합니다. 하이퍼파라미터는 이러한 알고리즘을 제어하지만 (예: 학습 속도), 튜닝 프로세스 자체는 알고리즘의 작동과는 별개입니다.
• 정규화: L1/L2 정규화 또는 드롭아웃과 같은 기법은 과적합을 방지하는 데 도움이 됩니다. 이러한 기법의 강도나 비율은 그 자체로 조정이 필요한 하이퍼파라미터입니다.
• 자동화된 머신 러닝(AutoML): 기능 엔지니어링, 모델 선택, 하이퍼파라미터 튜닝 등 전체 ML 파이프라인을 자동화하는 것을 목표로 하는 광범위한 분야입니다. HPT는 종종 AutoML 시스템의 핵심 구성 요소입니다.

실제 애플리케이션

하이퍼파라미터 튜닝은 다양한 도메인에 적용됩니다:

• 의료 이미지 분석: 종양 검출을 위한 모델을 학습시킬 때, 특정 의료 데이터 세트에서 높은 검출 정확도( AUC와 같은 메트릭으로 측정)를 달성하려면 학습 속도 일정, 데이터 증강 강도(예: 문서화 사용), 손실 함수 가중치와 같은 하이퍼파라미터를 조정하는 것이 중요합니다. 이는 의료 솔루션에서 신뢰할 수 있는 AI를 구현하는 데 필수적인 요소입니다.
• 자율 주행 차량: 자율 주행 차량의 물체 감지 모델은 세심한 튜닝이 필요합니다. 입력 이미지 해상도, 비최대 억제(NMS ) 임계값, 앵커 박스 구성( 앵커 기반 감지기의 경우) 등의 하이퍼파라미터를 최적화하면 시스템이 보행자, 차량, 장애물을 짧은 지연 시간으로 안정적으로 감지하여 안전한 주행을 보장할 수 있습니다. 이러한 튜닝은 Waymo와 같은 기업에게 매우 중요하며 자동차 솔루션의 강력한 AI에 기여합니다.

Ultralytics 통한 하이퍼파라미터 조정

Ultralytics YOLO 모델을 위한 하이퍼파라미터 튜닝을 간소화하는 도구를 제공합니다. 그리고 Ultralytics Tuner 클래스에 문서화되어 있습니다. 하이퍼파라미터 튜닝 가이드는 진화 알고리즘을 사용하여 프로세스를 자동화합니다. 다음과 같은 플랫폼과의 통합 레이 튠 는 분산 및 고급 검색 전략을 위한 추가 기능을 제공하여 사용자가 특정 데이터 세트(예 COCO) 및 다음과 같은 리소스를 사용하는 작업 Ultralytics HUB 실험 추적 및 관리용입니다. 팔로잉 모델 트레이닝 팁 효과적인 하이퍼파라미터 튜닝이 필요한 경우가 많습니다.