장단기 메모리(LSTM)

LSTM의 작동 원리

기존 RNN은 시퀀스의 초기 단계의 정보가 네트워크를 통해 전파되면서 사라지는 소실 그라데이션 문제로 인해 긴 간격의 종속성을 학습하기 어렵습니다. LSTM은 메모리 셀과 게이트가 포함된 독특한 구조를 사용하여 이 문제를 해결합니다.

핵심 구성 요소는 컨베이어 벨트처럼 작동하는 메모리 셀로, 정보가 네트워크를 통해 비교적 변함없이 흐르도록 합니다. LSTM은 메모리 셀에 저장된 정보를 조절하기 위해 세 가지 주요 "게이트"를 사용합니다:

1. 잊어버림 게이트: 셀 상태에서 어떤 정보를 버릴지 결정합니다.
2. 입력 게이트: 셀 상태에 저장할 새 정보를 결정합니다.
3. 출력 게이트: 셀 상태의 어느 부분을 출력할지 결정합니다.

시그모이드 및 탄과 같은 활성화 함수를 사용하여 구현된 이러한 게이트는 각 시간 단계에서 어떤 정보를 유지하거나 폐기해야 하는지 학습하여 네트워크가 확장된 시퀀스에서 관련 컨텍스트를 유지할 수 있도록 합니다.

실제 애플리케이션

LSTM은 시퀀스 모델링이 필요한 수많은 도메인에 성공적으로 적용되었습니다:

• 자연어 처리(NLP): LSTM은 기계 번역 (예: 의미를 유지하면서 긴 문장 번역), 감정 분석 (텍스트에 표현된 의견 이해), 언어 모델링과 같은 작업에 탁월한 능력을 발휘합니다. 예를 들어, LSTM은 텍스트 단락을 처리하여 전체 문장을 이해하고 마지막의 의미에 영향을 미치는 시작 부분의 핵심 문구를 기억할 수 있습니다.
• 음성 인식: 음성 신호의 시간적 종속성을 모델링하여 음성 언어를 텍스트로 변환하는 데 사용됩니다. LSTM 기반 시스템은 시간에 따른 소리의 순서를 고려하여 단어와 구를 인식할 수 있으므로 장거리 문맥을 파악하지 못하는 모델에 비해 정확도가 향상됩니다. Google 음성 인식 시스템은 역사적으로 LSTM을 활용해 왔습니다.
• 시계열 분석: LSTM은 주가, 날씨 패턴 또는 에너지 소비량과 같은 과거 데이터를 기반으로 미래 가치를 예측하는 데 적용됩니다. 장기적인 추세를 기억하는 능력이 뛰어나 복잡한 예측 모델링에 적합합니다.
• 비디오 분석: LSTM은 비디오 프레임 시퀀스를 처리하여 시간 경과에 따라 발생하는 동작이나 이벤트를 이해함으로써 활동 인식과 같은 애플리케이션에 기여할 수 있습니다.

LSTM과 관련 아키텍처 비교

LSTM은 강력하지만 더 광범위한 시퀀스 모델 제품군에 속합니다:

• RNN: LSTM은 단순 RNN의 단기 메모리 문제를 피하기 위해 특별히 설계된 RNN의 한 유형입니다.
• 게이트 순환 장치(GRU): GRU는 더 간단한 아키텍처(더 적은 수의 게이트)를 가진 LSTM의 변형입니다. 특정 작업에서 LSTM과 비슷한 성능을 내면서도 계산 집약도가 낮은 경우가 많습니다.
• 트랜스포머: 나중에 소개된 트랜스포머는 반복이 아닌 주의 메커니즘에 의존합니다. 특히 GPT-4와 같은 대규모 언어 모델(LLM) 에서 많은 NLP 작업의 최첨단 성능에서 LSTM을 크게 뛰어넘었습니다. Longformer와 같은 아키텍처는 매우 긴 시퀀스에 대해 Transformer의 기능을 더욱 확장합니다.

구현 및 도구

LSTM은 다음과 같은 널리 사용되는 딥 러닝 프레임워크를 사용하여 쉽게 구현할 수 있습니다. PyTorch ( PyTorch LSTM 설명서 참조) 및 TensorFlow ( TensorFlow LSTM 설명서 참조). Ultralytics 주로 다음과 같은 컴퓨터 비전(CV) 모델에 초점을 맞추고 있습니다. Ultralytics YOLO 와 같은 CV 모델을 객체 감지 및 인스턴스 세분화와 같은 작업에 주로 사용하지만, 특히 비디오 이해 또는 이미지 캡션과 같은 작업을 위해 NLP와 CV를 연결하는 연구가 진행됨에 따라 시퀀스 모델을 이해하는 것이 중요합니다. 다양한 ML 모델과 개념은 Ultralytics 설명서에서 자세히 살펴볼 수 있습니다. 다양한 모델의 훈련 및 배포 관리는 Ultralytics HUB와 같은 플랫폼을 사용하여 간소화할 수 있습니다. 호크라이터와 슈미드후버의 기초 LSTM 논문에서 원본 기술 세부 사항을 확인할 수 있습니다. DeepLearning.AI와 같은 리소스에서는 LSTM을 포함한 시퀀스 모델을 다루는 과정을 제공합니다.