누수 ReLU

Leaky ReLU 작동 방식

ReLU와 마찬가지로 누설 ReLU는 입력이 양수인 경우 바로 출력합니다. 그러나 음수 입력에 대해 0을 출력하는 ReLU와 달리 누수 ReLU는 음수 입력에 대해 0이 아닌 작은 일정한 기울기(기울기)를 허용합니다. 이 '누수'는 입력이 음수일 때에도 뉴런이 활성 상태를 유지하도록 하여 기울기가 네트워크를 통해 역방향으로 흐르도록 하고 지속적인 학습을 가능하게 합니다. 작은 기울기는 일반적으로 고정된 작은 값(예: 0.01)이지만, 파라메트릭 ReLU(PReLU)와 같은 변형을 사용하면 훈련 중에 이 기울기를 학습할 수 있습니다.

죽어가는 ReLU 문제 해결하기

누수 ReLU의 주된 동기는 죽어가는 ReLU 문제를 완화하기 위해서입니다. 표준 ReLU 뉴런이 큰 음의 입력을 받으면 출력은 0이 됩니다. 훈련 중에 되돌아오는 기울기도 0이면 뉴런의 가중치가 업데이트되지 않고 모든 입력에 대해 영구적으로 비활성 상태로 남을 수 있습니다. 누수 ReLU는 음수 입력에 대해서도 0이 아닌 작은 기울기가 항상 존재하도록 하여 이를 방지하므로 뉴런이 완전히 죽는 것을 방지하고 특히 소실 기울기 문제가 우려되는 매우 깊은 네트워크에서 훈련 과정의 견고성을 향상시킬 수 있습니다.

AI 및 ML의 관련성 및 응용 분야

Leaky ReLU는 훈련 내내 활성 뉴런을 유지하는 것이 중요한 시나리오에서 유용한 도구입니다. 표준 ReLU와 유사한 계산 효율성으로 대규모 모델에 적합합니다. 주요 적용 분야는 다음과 같습니다:

• 컴퓨터 비전(CV): 이미지 분류, 물체 감지, 이미지 분할과 같은 작업을 위해 컨볼루션 신경망(CNN) 에서 Leaky ReLU가 자주 사용됩니다. 예를 들어, 초기 버전의 Ultralytics YOLO 모델의 초기 버전은 모델 정확도와 훈련 안정성을 개선하기 위해 누수 ReLU 레이어를 활용했습니다. 하지만 최신 모델인 YOLO11 과 같은 최신 모델에서는 SiLU와 같은 다른 활성화 방식을 사용할 수도 있지만, 특히 계산 비용이 주요 제약 조건인 경우 Leaky ReLU는 여전히 실행 가능한 옵션입니다.
• 생성적 적대 신경망(GAN): 생성적 AI에서 누수 ReLU는 그라데이션이 사라지는 것을 방지하기 위해 GAN 구조의 판별자 부분에 자주 사용되며, 이는 GAN 학습을 안정화시키는 데 도움이 됩니다. 또한 제너레이터 네트워크에서도 사용할 수 있습니다.
• 자연어 처리(NLP): CV보다는 덜 일반적이지만, 특정 딥 러닝 아키텍처에서 NLP 작업을 위해 Leaky ReLU를 적용할 수 있습니다.
• 실시간 추론: 계산이 간단하여 엣지 디바이스에 배포하는 등 빠른 추론이 필요한 애플리케이션에 적합합니다.

누수 ReLU와 다른 활성화 기능 비교

표준 ReLU와 비교했을 때, 누수 ReLU의 가장 큰 장점은 뉴런이 죽어가는 문제를 피할 수 있다는 점입니다. ELU(지수 선형 단위) 또는 SiLU(시그모이드 선형 단위) 와 같은 다른 활성화 함수도 이 문제를 해결하며, 때로는 다음과 같은 모델에서 볼 수 있듯이 더 부드러운 그라데이션과 같은 이점을 제공합니다. Ultralytics YOLOv8. 그러나 ELU와 같은 이러한 대안은 누수 ReLU보다 계산적으로 더 비쌀 수 있습니다(활성화 함수 비교 참조). 최적의 선택은 종종 특정 신경망 아키텍처, 데이터 세트(예: Ultralytics 데이터 세트), 하이퍼파라미터 튜닝과 같은 프로세스를 통해 얻은 경험적 결과에 따라 달라집니다. 다음과 같은 프레임워크 PyTorchPyTorch 문서) 및 TensorFlowTensorFlow 문서)와 같은 프레임워크는 다양한 활성화 기능을 쉽게 구현할 수 있도록 하여 Ultralytics HUB와 같은 플랫폼 내에서 실험을 용이하게 해줍니다.