순환 신경망(RNN)은 텍스트, 게놈, 손글씨 또는 음성 단어와 같은 데이터 시퀀스의 패턴을 인식하도록 설계된 인공 신경망의 한 유형입니다. 표준 피드포워드 신경망과 달리 RNN은 정보가 지속될 수 있는 루프를 가지고 있어 이전 입력의 컨텍스트가 현재 입력을 해석하는 데 중요한 작업에 적합합니다. 내부 메모리를 사용해 입력 시퀀스를 처리하는 이 기능은 RNN을 차별화하는 요소입니다.
RNN은 시퀀스 요소를 반복하고 이전에 본 것과 관련된 정보가 포함된 상태를 유지함으로써 시퀀스를 처리합니다. 네트워크가 지금까지 계산된 정보를 저장하는 '메모리'를 가지고 있다고 생각하면 됩니다. 이론적으로 RNN은 임의로 긴 시퀀스의 정보를 활용할 수 있지만, 실제로는 계산 제약으로 인해 몇 단계만 되돌아보는 것으로 제한됩니다. 이러한 메모리 메커니즘을 통해 RNN은 시퀀스의 이전 입력에서 제공된 컨텍스트를 이해해야 하는 작업을 수행할 수 있으므로 자연어 처리(NLP) 및 시계열 분석에 이상적입니다.
NLP에서 RNN은 기계 번역, 감성 분석, 텍스트 생성 등 다양한 작업에 사용됩니다. 예를 들어, 기계 번역에서 RNN은 한 언어로 된 문장을 입력으로 받아 전체 입력 문장의 문맥을 고려하여 다른 언어로 된 해당 문장을 생성할 수 있습니다. Google 번역은 언어 간 번역에 고급 형태의 RNN을 사용하는 잘 알려진 애플리케이션입니다.
RNN은 음성 언어를 텍스트로 변환하는 음성 인식 시스템에서도 광범위하게 사용됩니다. RNN은 순차적인 오디오 데이터를 처리함으로써 음성 단어의 문맥과 뉘앙스를 이해하여 정확한 필사본을 생성할 수 있습니다. Siri나 Google 어시스턴트와 같은 인기 있는 가상 비서는 음성 명령을 처리하고 이해하기 위해 RNN을 사용합니다.
LSTM은 장기 종속성을 학습할 수 있는 특별한 종류의 RNN입니다. 장기 종속성 문제를 피하기 위해 명시적으로 설계되어 오랜 기간 동안 정보를 기억하는 것을 기본 동작으로 합니다.
GRU는 LSTM과 유사하지만 파라미터가 더 적어 훈련 속도가 약간 더 빠른 RNN의 또 다른 변형입니다. 이들은 게이팅 메커니즘을 사용하여 정보의 흐름을 제어함으로써 네트워크가 어떤 정보를 유지하고 어떤 정보를 버릴지 결정할 수 있도록 합니다.
컨볼루션 신경망(CNN)은 주로 이미지 처리 작업에 사용되지만, 동영상과 같이 공간적 계층 구조가 있는 순차 데이터를 처리하기 위해 RNN과 결합할 수도 있습니다. CNN은 이미지에서 특징을 추출하는 데 탁월한 반면, RNN은 시퀀스의 시간적 측면을 처리하므로 이 둘을 결합하면 동영상 분석과 같은 작업에 강력합니다. 객체 감지 아키텍처에서 CNN을 사용하는 방법( Ultralytics YOLO )에 대해 자세히 알아보세요.
트랜스포머는 NLP 작업에서 두각을 나타내고 있는 또 다른 유형의 신경망으로, 기계 번역과 같은 작업에서 RNN을 능가하는 성능을 보이는 경우가 많습니다. RNN과 달리 트랜스포머는 데이터를 순차적으로 처리하지 않고 자기 주의라는 메커니즘을 사용하여 입력 데이터의 여러 부분의 중요도를 평가합니다. 따라서 장거리 종속성을 보다 효과적으로 처리할 수 있습니다. BERT 및 GPT와 같은 모델은 Transformer 아키텍처를 기반으로 합니다.
이러한 장점에도 불구하고 RNN은 긴 시퀀스에 걸쳐 기울기가 감소하여 장거리 종속성을 학습하기 어렵게 만드는 소실 기울기 문제로 인해 훈련이 어렵다는 문제에 직면해 있습니다. LSTM과 GRU와 같은 혁신 기술은 이 문제를 어느 정도 완화했습니다. 또한 RNN의 순차적 특성으로 인해 입력을 병렬로 처리할 수 있는 트랜스포머와 같은 모델에 비해 계산 집약적이고 훈련 속도가 느립니다. 연구자들은 이러한 한계를 극복하기 위해 새로운 아키텍처와 기술을 지속적으로 탐구하고 있으며, 보다 효율적이고 강력한 시퀀스 처리 모델을 개발하는 것을 목표로 하고 있습니다. AI 및 관련 기술에 대한 보다 폭넓은 이해를 위해 용어집(Ultralytics )을 참조하세요.
%25202.png)
%202.png)
