그라데이션 하강

머신 러닝의 관련성

그라디언트 하강은 많은 최신 AI 애플리케이션의 근간을 이루는 신경망(NN) 과 같은 정교한 모델을 훈련하는 데 특히 중요합니다. 객체 감지, 이미지 분류, 자연어 처리(NLP)에 사용되는 모델을 포함한 이러한 모델에는 최적화가 필요한 수백만 개 또는 수십억 개의 매개변수가 있는 경우가 많습니다. 그라디언트 디센트와 그 변형은 복잡한 손실 환경 (가능한 모든 매개변수 조합에 대한 손실 값을 나타내는 고차원 표면)을 탐색하고 좋은 성능을 내는 매개변수 값을 찾는 계산적으로 실현 가능한 방법을 제공합니다. 경사 하강을 통한 효과적인 최적화 없이는 이러한 대규모 모델을 높은 정확도 수준으로 훈련하는 것은 비현실적입니다. 다음과 같은 주요 ML 프레임워크 PyTorch 와 TensorFlow 과 같은 주요 ML 프레임워크는 경사 하강의 다양한 구현과 역전파 같은 관련 알고리즘에 크게 의존하여 필요한 경사도를 계산합니다. 이 프로세스를 최적화하는 데 대한 인사이트를 얻으려면 모델 트레이닝 팁을 살펴보세요.

주요 개념 및 변형

경사 하강의 핵심 아이디어는 모델 파라미터에 대한 손실 함수의 경사(가장 가파른 상승 방향)를 계산한 다음 반대 방향(내리막길)으로 한 걸음씩 나아가는 것입니다. 이 단계의 크기는 모델이 학습하는 속도를 결정하는 중요한 하이퍼파라미터인 학습률에 의해 제어됩니다. 학습 속도가 너무 작으면 수렴 속도가 느려질 수 있고, 너무 크면 최적화 프로세스가 최소값을 초과하거나 심지어 갈라질 수 있습니다. 그라데이션 하강에는 여러 가지 변형이 존재하며, 주로 각 단계에서 그라데이션을 계산하는 데 사용되는 데이터의 양에 차이가 있습니다:

• 일괄 경사 하강(BGD): 전체 학습 데이터 세트를 사용하여 기울기를 계산합니다. 이 방법은 정확한 기울기 추정치를 제공하지만 대규모 데이터 세트의 경우 계산 비용이 매우 비싸고 속도가 느릴 수 있습니다.
• 확률적 그라디언트 하강(SGD): 각 단계에서 단일 훈련 예제에서 계산된 기울기를 사용하여 파라미터를 업데이트합니다. 훨씬 빠르고 얕은 국소 최소값을 벗어날 수 있지만 업데이트 시 노이즈가 발생하여 수렴 경로가 덜 안정적입니다.
• 미니 배치 그라디언트 하강: BGD와 SGD의 절충안입니다. 학습 데이터의 작은 무작위 하위 집합(미니 배치)을 사용하여 기울기를 계산합니다( 배치 크기 하이퍼파라미터로 제어). 이는 BGD의 정확도와 SGD의 효율성의 균형을 맞추며 딥러닝에서 가장 일반적으로 사용되는 변형입니다.
• 적응형 최적화: Adam(논문 링크), Adagrad, RMSprop과 같은 알고리즘은 훈련 중에 각 파라미터의 학습 속도를 자동으로 조정하여 기본 SGD 또는 미니 배치 GD에 비해 더 빠른 수렴과 더 나은 성능을 이끌어냅니다. 이들은 모델 학습을 위해 Ultralytics HUB와 같은 플랫폼에서 자주 사용됩니다. 변형에 대한 자세한 내용은 경사 하강 위키백과 페이지에서 확인할 수 있습니다.

관련 개념과의 차이점

그라데이션 하강은 특정 유형의 최적화 알고리즘으로, 그라데이션을 사용하여 모델 파라미터를 조정하여 손실 함수를 반복적으로 최소화하는 데 중점을 둡니다. 이는 모델 학습의 다른 중요한 개념과는 다릅니다:

• 하이퍼파라미터 튜닝: 이 프로세스는 그라디언트 데센트가 조정하는 모델 파라미터weights and biases)가 아닌 학습 프로세스 자체를 제어하는 최적의 하이퍼파라미터 (예: 학습 속도, 배치 크기, 네트워크 아키텍처 선택)를 찾는 데 중점을 둡니다. 레이 튠과 같은 도구는 하이퍼파라미터 튜닝에 도움을 줄 수 있습니다. 하이퍼파라미터 최적화에 대한 좋은 개요는 Wikipedia의 하이퍼파라미터 최적화 페이지에서 확인할 수 있습니다.
• 정규화: L1/L2 정규화 또는 드롭아웃과 같은 기술은 모델이 학습 데이터를 너무 잘 학습하지만 보이지 않는 데이터에서는 성능이 저하되는 과적합을 방지하기 위해 학습 과정에 추가되는 방법(손실 함수 또는 네트워크 구조에 통합되는 경우가 많음)으로, 특히 학습 데이터에 대한 성능이 저하되는 것을 방지합니다. 그런 다음 그라디언트 하강은 정규화된 손실 함수를 최소화합니다. 자세한 내용은 머신 러닝의 정규화를 살펴보세요.

실제 애플리케이션

그라데이션 하강은 수많은 실제 AI 애플리케이션의 모델 학습을 지원하는 엔진으로, 지도 학습 시나리오 등에서 모델이 방대한 양의 데이터를 학습할 수 있도록 지원합니다:

1. 의료 이미지 분석: 의료 분야 AI에서 그라데이션 하강은 의료 이미지 분석과 같은 작업을 위해 컨볼루션 신경망(CNN)을 훈련시킵니다. 예를 들어, 모델의 예측된 세분화 또는 분류와 방사선 전문의가 제공한 실측 자료 간의 차이를 최소화하여 X-레이, CT 스캔 또는 MRI에서 종양이나 이상을 감지하도록 모델을 최적화합니다(예시 블로그 게시물 참조). 방사선학과 같은 저널 : 인공 지능과 같은 저널은 이러한 발전을 보여줍니다.
2. 추천 시스템: 넷플릭스나 아마존과 같은 기업에서는 경사 하강으로 학습된 추천 알고리즘을 사용합니다. 이러한 알고리즘은 사용자 평점이나 상호 작용 가능성을 예측하는 손실 함수를 최소화하여 사용자 선호도와 항목의 특징을 학습하여 관련 영화, 제품 또는 콘텐츠를 제안할 수 있습니다.
3. 자율주행 차량: 자율주행 차량에서 바운딩 박스를 사용하여 보행자, 자동차, 차선을 식별하는 등의 인식 작업에 사용되는 모델은 경사 하강을 사용하여 학습됩니다. 이러한 최적화는 웨이모와 같은 회사에서 개발한 시스템에서 볼 수 있듯이 자율 주행 기술의 안전성과 신뢰성을 위해 매우 중요합니다. 이는 자동차 분야의 AI와 매우 밀접한 관련이 있습니다.