GELU(가우스 오차 선형 단위)

GELU란 무엇인가요?

가우스 오류 선형 단위의 줄임말인 GELU는 신경망의 활성화 함수입니다. 활성화 함수는 가중 합계를 계산하고 여기에 편향을 추가하여 뉴런을 활성화할지 여부를 결정합니다. 활성화 함수의 목적은 뉴런의 출력에 비선형성을 도입하는 것입니다. GELU는 특히 ReLU(정류 선형 단위) 활성화 함수의 부드러운 근사치로 알려져 있지만, 가우스 분포의 누적 분포 함수를 기반으로 한다는 점에서 큰 차이가 있습니다. 따라서 GELU는 확률적이며, 많은 경우 특히 최신 신경망 아키텍처에서 ReLU보다 더 효과적입니다.

GELU 작동 방식

GELU의 핵심 아이디어는 입력값에 따라 확률적으로 입력을 삭제하여 뉴런을 무작위로 정규화하는 것입니다. 간단히 말해, 주어진 입력에 대해 0보다 큰지 작은지에 따라 가중치를 부여하지만, 하드 스위치인 ReLU와 달리 GELU는 더 부드러운 확률적 접근 방식을 사용합니다. 이러한 확률적 특성은 표준 가우스 분포의 누적 분포 함수(CDF)에서 파생됩니다. 이 함수는 기본적으로 다음과 같이 묻습니다: "입력값 'x'가 주어졌을 때, 표준 가우스 분포에서 도출된 값보다 클 확률은 얼마인가?"라는 질문입니다. 그런 다음 이 확률에 따라 입력값이 스케일링되어 부드러운 비선형 활성화가 이루어집니다. 0을 중심으로 한 이러한 부드러운 전환은 0에서 급격히 구부러지는 Leaky ReLU와 같은 변형 ReLU와 GELU를 구별하는 핵심 특성입니다.

GELU의 장점

GELU는 신경망의 효율성에 기여하는 몇 가지 이점을 제공합니다:

• 부드러움: ReLU와 달리 GELU는 0을 포함한 전체 영역에서 부드럽습니다. 이러한 평활성은 그라데이션 기반 최적화에 도움이 되어 딥 네트워크를 더 쉽게 훈련하고 잠재적으로 더 나은 일반화로 이어질 수 있습니다.
• 양의 입력에 대해 비포화: ReLU와 마찬가지로 GELU는 양의 입력에 대해 비포화 상태이므로 소실 그라데이션 문제를 완화하여 더 깊은 네트워크를 훈련할 수 있습니다.
• 경험적 성공: GELU는 다양한 최신 모델, 특히 자연어 처리와 컴퓨터 비전에서 점점 더 많이 사용되는 트랜스포머 기반 아키텍처에서 강력한 경험적 성능을 입증했습니다. 활성화에 대한 확률론적 접근 방식은 많은 작업에서 모델 정확도를 향상시키는 것으로 나타났습니다.
• '죽어가는 ReLU' 문제 완화: ReLU는 뉴런이 비활성 상태가 되어 학습이 중단되는 '죽어가는 ReLU' 문제를 겪을 수 있지만, GELU의 부드러운 특성과 음수 입력에 대한 0이 아닌 출력은 이 문제를 완화하는 데 도움이 됩니다.

GELU의 애플리케이션

GELU는 AI의 다양한 영역에서 중요한 애플리케이션을 발견했습니다:

• 자연어 처리(NLP): GELU는 특히 BERT(양방향 인코더 표현을 통한 트랜스포머)와 그 후속 모델을 비롯한 고급 NLP 모델에 사용됩니다. 트랜스포머 모델의 성능을 향상시키는 능력 덕분에 최첨단 NLP 연구 및 애플리케이션의 필수 요소로 자리 잡았습니다. 예를 들어, 고급 텍스트 생성 및 기계 번역 작업에 사용되는 GPT-3 및 GPT-4와 같은 모델은 활성화 기능으로 GELU를 사용하는 경우가 많습니다.
• 컴퓨터 비전: 전통적으로 컴퓨터 비전에서는 ReLU와 그 변형이 더 일반적이었지만, 비전 모델, 특히 비전 트랜스포머(ViT)와 같은 트랜스포머 아키텍처를 통합하는 비전 모델에 GELU가 점점 더 많이 채택되고 있습니다. 이미지 분류 및 물체 감지와 같은 작업의 경우 GELU는 복잡한 시각적 특징을 학습하는 모델의 능력을 향상시킬 수 있습니다. 예를 들어, 의료 이미지 분석에 사용되는 모델들은 잠재적으로 향상된 진단 정확도를 위해 GELU를 활용하기 시작했습니다.
• 음성 인식: NLP와 마찬가지로 GELU의 원활한 활성화는 음성 인식 모델에서 순차적 데이터 처리를 개선하고 음성을 텍스트로 변환하는 정확도를 향상시키는 데 도움이 되는 것으로 입증되었습니다.

GELU vs ReLU

GELU와 ReLU는 모두 신경망의 성능을 개선하기 위해 설계된 비선형 활성화 함수이지만 접근 방식이 다릅니다:

• ReLU(정류 선형 단위): ReLU는 입력값이 양수이면 바로 출력하고, 그렇지 않으면 0을 출력하는 더 간단한 함수입니다. 계산 효율은 높지만 '죽어가는 ReLU' 문제가 발생할 수 있으며 0에서 매끄럽지 않습니다. 용어집에서 ReLU 및 누수 ReLU와 같은 관련 활성화 함수에 대해 자세히 알아볼 수 있습니다.
• GELU(가우스 오차 선형 단위): GELU는 가우스 분포에 기반한 확률적 접근 방식을 사용하는 더 부드럽고 복잡한 함수입니다. 보다 미묘한 활성화를 제공하고 음수 입력에 대해 0이 아닌 출력으로 인해 '죽어가는 ReLU'와 같은 문제를 완화하여 더 복잡한 모델, 특히 트랜스포머에서 더 나은 성능을 발휘하는 경향이 있습니다.

본질적으로 ReLU는 단순성과 계산 효율성 때문에 선호되는 반면, GELU는 특히 성능이 가장 중요한 깊고 복잡한 아키텍처에서 더 나은 정확도와 원활한 훈련을 제공할 수 있는 잠재력 때문에 선택되는 경우가 많습니다. 이들 중 어떤 것을 선택할지는 특정 애플리케이션과 사용 중인 신경망의 아키텍처에 따라 달라집니다. 하이퍼파라미터 튜닝과 같은 기술은 주어진 모델과 작업에 대한 최적의 활성화 함수를 결정하는 데 도움이 될 수 있습니다.

추가 리소스

GELU 및 관련 개념을 더 깊이 이해하려면 다음 리소스를 살펴보세요:

• GELU 논문: 기술에 대한 심도 있는 이해를 위해 arXiv에서 "가우스 오차 선형 단위(GELU)"에 대한 연구 논문 원본을 읽어보세요.
• 신경망의 활성화 함수: 위키백과에서 GELU를 포함한 활성화 함수에 대한 포괄적인 개요를 살펴보세요.
• 활성화 기능 이해하기: GELU를 비롯한 다양한 활성화 기능을 설명하는 자세한 블로그 게시물은 towardsdatascience.com에서 확인할 수 있습니다.
• Ultralytics 용어집: AI 및 머신 러닝 용어에 대한 자세한 정의는 Ultralytics 용어집을 참조하세요.
• Ultralytics YOLOv8: 고급 활성화 기능을 활용하는 최신 모델을 살펴보세요. Ultralytics YOLOv8 문서에서 살펴보세요.