녹색 확인
링크가 클립보드에 복사됨

컴퓨터 비전에서 FPS의 역할 이해

컴퓨터 비전에서 FPS가 중요한 이유와 실시간 객체 감지, 비디오 분석 및 AI 기반 애플리케이션에 어떤 영향을 미치는지 알아보세요.

좋아하는 스포츠 경기의 순간을 모든 디테일이 선명한 슬로모션 리플레이로 시청하는 것과 일반적으로 흔들리고 따라가기 어려운 감시 영상을 시청하는 것은 매우 다릅니다. 이러한 차이를 만드는 핵심적인 기술적 세부 사항은 비디오에서 초당 표시되는 프레임 수를 나타내는 FPS(초당 프레임 수)입니다. FPS가 높을수록 부드럽고 생생한 움직임이 표현되는 반면, FPS가 낮을수록 영상이 끊기고 디테일이 떨어질 수 있습니다.

이 개념은 기계가 인간과 유사하게 시각 데이터를 해석하고 분석할 수 있도록 하는 AI의 한 분야인 컴퓨터 비전에 직접적인 영향을 미칩니다. 컴퓨터 비전에서 FPS가 높을수록 시스템이 매초 더 많은 정보를 캡처할 수 있어 실시간으로 물체를 감지하고 추적하는 정확도가 향상됩니다.

이 글에서는 FPS의 기술적 측면과 이것이 컴퓨터 비전 애플리케이션과 어떻게 연관되어 있는지 살펴봅니다. 그럼 시작해 보겠습니다!

컴퓨터 비전에서 FPS는 무엇을 의미하나요?

레이싱 게임을 플레이한다고 가정해 보겠습니다. 60 FPS에서는 모든 회전이 부드럽고 반응이 좋지만 20 FPS에서는 컨트롤이 지연되어 장애물을 피하기가 더 어려워집니다. 간단히 말해, FPS는 초당 표시되는 정지 사진의 수라고 생각하면 됩니다. 초당 표시되는 사진 수가 많을수록 움직임이 부드럽고 자연스러워 보이지만, 사진 수가 적을수록 움직임이 끊겨 보일 수 있습니다.

게임에서와 마찬가지로 FPS는 컴퓨터 비전 애플리케이션에서 핵심적인 부분입니다. FPS가 높을수록 Vision AI를 사용하여 물체를 원활하게 추적할 수 있는 반면, FPS가 낮으면 디테일을 놓칠 수 있습니다. 

예를 들어, 스포츠 분석에서 AI 기반 카메라는 빠른 패스, 선수의 움직임, 공의 궤적을 추적할 수 있도록 더 높은 FPS가 필요합니다. FPS가 낮으면 중요한 발과 공의 접촉이나 급격한 방향 전환을 놓쳐 분석 정확도에 영향을 미칠 수 있습니다. 

마찬가지로 교통 모니터링에서도 시스템은 과속 차량과 차선 변경을 실시간으로 감지하기 위해 높은 FPS에 의존합니다. 올바른 FPS를 선택하는 것은 각 컴퓨터 비전 애플리케이션의 특정 요구 사항에 따라 성능, 효율성, 시각적 선명도 간의 균형을 맞추는 것입니다.

그림 1. 다양한 프레임 속도 비교.

컴퓨터 비전에서 FPS의 기술적 측면

이제 FPS가 무엇이며 컴퓨터 비전에서 어떻게 사용되는지 살펴봤으니, 이제 비디오의 FPS를 계산하는 방법부터 시작하여 기술적 측면에 대해 자세히 알아보겠습니다. 

총 프레임 수를 지속 시간(초)으로 나누면 동영상의 FPS를 알 수 있습니다. 예를 들어 4초 동안 96개의 프레임이 있는 동영상의 경우 초당 24개의 이미지가 표시되는 24FPS로 계산되고, 4초 동안 32개의 프레임이 있는 경우 8FPS가 됩니다. OpenCV와 같은 Python 라이브러리를 사용하면 동영상 메타데이터를 추출하고, 프레임을 계산하고, 자동으로 FPS를 계산하여 동영상 분석 프로세스를 간소화할 수 있습니다.

그림 2. 24 FPS 대 8 FPS 대 4FPS.

동영상 FPS에 영향을 미치는 요인

그러나 컴퓨터 비전 솔루션을 개발할 때 기술적인 결정을 내릴 때는 FPS 계산만으로는 충분하지 않습니다. 하드웨어 성능, 소프트웨어 최적화, 환경 조건 등 유효 프레임 속도에 영향을 미칠 수 있는 다양한 요소를 고려하는 것도 중요합니다. 

이러한 요소에 대해 자세히 살펴보세요:

  • 하드웨어 성능: 카메라 센서의 품질과 디바이스의 처리 능력에 따라 초당 캡처되는 프레임 수가 결정될 수 있습니다. 하드웨어 성능이 좋다는 것은 일반적으로 더 높은 FPS와 부드러운 동영상을 지원한다는 의미입니다.
  • 소프트웨어 최적화: 효율적인 비디오 인코딩 및 처리 소프트웨어는 프레임을 빠르게 추출하고 분석하는 데 도움이 됩니다. 이를 통해 불필요한 지연 없이 동영상을 처리할 수 있습니다.
  • 환경 조건: 장면의 조명과 움직임은 프레임이 얼마나 선명하게 캡처되는지에 영향을 줍니다. 좋은 조명과 적당한 움직임은 FPS를 향상시킬 수 있지만, 열악한 조건에서는 선명도를 유지하기 위해 더 높은 FPS가 필요할 수 있습니다.
    ↪cf_200D↩
  • 저장 공간 필요: FPS가 높을수록 초당 더 많은 프레임을 캡처하므로 파일 크기가 커집니다. 따라서 스토리지 요구 사항이 증가하고 원활한 재생을 위해 더 빠른 데이터 처리가 필요합니다.

컴퓨터 비전 애플리케이션에서 FPS 살펴보기

다음과 같은 AI 모델 Ultralytics YOLO11 와 같은 실시간 컴퓨터 비전 작업을 지원하는 AI 모델은 높은 프레임 속도로 동영상을 분석하는 데 사용할 수 있습니다. 이러한 실시간 기능은 작은 지연도 심각한 오류로 이어질 수 있는 자율 주행, 감시, 로봇 공학 등의 애플리케이션에 매우 중요합니다. 

정확성과 성능을 위해 높은 FPS가 필수적인 실제 비전 AI 애플리케이션을 살펴보겠습니다. 

감시 및 보안 솔루션을 위한 더 높은 프레임 속도

고속도로와 같이 교통량이 많은 지역을 모니터링하는 감시 시스템은 높은 FPS를 사용하여 미세한 디테일까지 포착함으로써 빠르게 움직이는 차량을 선명하게 기록합니다. 이러한 선명도는 차량을 정확하게 식별하기 위해 좋은 품질의 영상에 의존하는 자동 번호판 인식(ANPR) 시스템에 필수적입니다.

이러한 시스템에서는 YOLO11 같은 모델을 사용하여 비디오 피드에서 직접 번호판을 감지할 수 있습니다. 번호판이 감지되면 텍스트 이미지를 기계가 읽을 수 있는 문자로 변환하는 광학 문자 인식(OCR)을 사용하여 번호판 세부 정보를 읽습니다. 이 프로세스를 통해 빠르고 정확하게 차량을 식별하여 교통 단속과 전반적인 보안을 강화할 수 있습니다.

그림 3. YOLO11 사용하여 번호판 감지하기.

자율 시스템에 대한 FPS 요구 사항 이해

자율주행차가 정지 신호에서 주변 환경을 주의 깊게 분석하여 안전하게 진행할 수 있는지 여부를 결정한다고 생각해 보세요. 이 자동차는 거의 즉각적인 의사 결정을 내려야 하므로 실시간으로 시각적 데이터를 캡처하고 처리해야 합니다. 

자율주행 차량에 더 높은 FPS로 영상을 캡처할 수 있는 카메라가 장착되어 있으면 더 연속적이고 상세한 이미지 스트림을 수신할 수 있습니다. 이렇게 향상된 시각적 입력으로 차량은 장애물, 보행자, 다른 차량을 빠르게 감지할 수 있습니다. 이를 통해 차량이 주변 환경의 변화에 즉각적으로 반응할 수 있습니다.

카메라가 더 낮은 FPS로 이미지를 처리하면 차량이 더 선명하지 않고 덜 세밀한 화면을 볼 수 있습니다. 이로 인해 응답 시간이 지연되어 중요한 정보를 놓칠 위험이 커지고 안전이 위협받을 수 있습니다.

FPS와 스포츠 분석의 연결

찰나의 결정이 승패를 좌우하는 스포츠에서는 모든 움직임을 정밀하게 포착하는 것이 매우 중요합니다. 더 높은 FPS를 지원하는 기술을 사용하면 움직임의 미세한 디테일까지 모두 녹화할 수 있으며, 코치, 분석가, 선수는 슬로우 모션으로 플레이를 놓치지 않고 검토할 수 있습니다. 또한 테니스, 축구, 크리켓과 같은 스포츠에서 심판이 동작을 프레임 단위로 선명하게 보여줌으로써 보다 정확한 판정을 내릴 수 있도록 도와줍니다.

예를 들어 배구에 관한 흥미로운 연구에서는 더 높은 FPS를 사용하면 경기력 평가가 어떻게 향상되는지 분석했습니다. FPS를 30프레임에서 240프레임으로 올리자 동작의 선명도와 물체 추적이 크게 개선되었습니다. 스파이크 분석 정확도도 향상되어 코치들이 손의 위치, 공의 접촉 지점, 점프 메커니즘을 더 정확하게 파악하는 데 도움이 되었습니다. 또한, 연구 결과 FPS가 높을수록 모션 블러가 감소하여 서브와 수비 반응을 더 쉽게 분석할 수 있는 것으로 나타났습니다. 

그림 4. 모션 선명도와 관련하여 낮은 FPS와 높은 FPS 비교.

낮은 FPS를 사용하는 것이 비디오 분석에 효과적인 경우

모든 컴퓨터 비전 애플리케이션에서 높은 FPS로 영상을 녹화해야 하는 것은 아닙니다. 많은 경우, 작업에 따라 더 낮은 FPS로도 정확한 결과를 얻을 수 있습니다. 다음은 더 낮은 FPS가 선호되는 몇 가지 주요 영역입니다:

  • 오프라인 후처리 및 분석: 교통 모니터링이나 군중 분석과 같은 애플리케이션의 경우, 모든 프레임을 높은 FPS로 캡처할 필요는 없습니다. 낮은 FPS로도 차량 흐름, 보행자 밀도, 혼잡 추세와 같은 이동 패턴을 분석하기에 충분한 데이터를 제공할 수 있습니다. 이 접근 방식은 중복 프레임을 줄임으로써 정확한 분석을 유지하면서 스토리지 요구 사항과 계산 부하를 최소화합니다.
  • 타임랩스 환경 모니터링: 식물의 성장, 공사 진행 상황 또는 빙하의 움직임과 같은 느린 변화를 추적할 때는 몇 분마다 또는 하루에 한 번 프레임을 캡처하는 것으로 충분하며, 저장 공간을 절약하면서 장기적인 변화를 효과적으로 문서화할 수 있습니다.
    ↪f_200D↩
  • 리소스가 제한된 환경: 야생동물 모니터링 및 원격 보안에서는 낮은 FPS가 배터리 수명과 저장 공간을 절약하는 데 도움이 됩니다. 5~10 FPS로 작동하는 모션 트리거 카메라는 장시간 동안 필수 이벤트를 캡처할 수 있어 독립형 설치에 이상적입니다.

딥러닝 애플리케이션에 적합한 FPS 선택하기

이상적인 FPS를 선택하려면 성능과 시스템 제한 사항의 균형을 맞춰야 합니다. 다음은 딥러닝 애플리케이션을 위해 FPS를 최적화할 때 염두에 두어야 할 몇 가지 고려 사항입니다:

  • 성능과 리소스 균형 맞추기: FPS가 높을수록 응답성이 향상되지만 전력 및 처리 요구 사항도 증가합니다. 동적으로 FPS를 조정하고, 프레임 보간을 사용하고, 하드웨어를 최적화하면 시스템에 과부하를 주지 않으면서도 원활한 성능을 유지할 수 있습니다.
  • 애플리케이션별 요구 사항: 애플리케이션마다 요구되는 FPS가 다릅니다. 배터리로 구동되는 디바이스는 에너지 절약을 위해 낮은 FPS를 사용해야 하는 반면, 드론이나 자율 주행 차량과 같은 실시간 시스템은 빠르고 정확한 응답을 위해 더 높은 FPS가 필요합니다.
  • 테스트 및 최적화: FPS 설정은 다양한 조명 및 모션 조건에서 테스트하는 것이 이상적입니다. 지연 시간을 평가하고 FPS 수준을 나란히 비교하면 응답성, 시각적 품질, 리소스 효율성 간의 최적의 균형을 파악하는 데 도움이 됩니다.

AI 모델을 위한 미래 혁신 및 FPS 최적화

AI와 하드웨어 최적화의 발전으로 리소스가 제한된 환경에서도 더 높은 프레임 속도를 달성할 수 있게 되었습니다. 예를 들어 영화, 스포츠, 로봇 공학 등의 산업에서는 모션의 복잡성과 처리 능력에 따라 시스템이 동적으로 FPS를 조정하는 보다 스마트한 프레임 속도 관리의 이점을 누릴 수 있습니다. 또한 AI 기반 프레임 보간은 실시간으로 추가 프레임을 생성하여 비디오의 부드러움을 개선합니다.

한편, 최근 NVIDIA 는 FPS 성능을 더욱 향상시키고 있습니다. DLSS 4(딥 러닝 슈퍼 샘플링)는 AI를 사용하여 추가 프레임을 예측하고 생성하는 멀티 프레임 생성을 도입했습니다. 이를 통해 프레임 속도가 최대 8배까지 향상되는 동시에 시스템의 워크로드는 감소합니다.

DLSS 4는 렌더링의 일부를 AI가 처리하도록 함으로써 하드웨어에 추가적인 부담을 주지 않고도 비주얼을 더욱 부드럽게 만들어 성능과 효율성을 모두 개선합니다.

주요 요점

FPS는 단순히 부드러운 비주얼의 척도를 넘어 AI와 컴퓨터 비전에서 실시간 의사결정을 내리는 데 중요한 역할을 합니다. 비디오의 각 프레임은 중요한 데이터를 캡처하여 기계가 물체를 추적하고 동작을 분석하며 동적인 환경에 대응할 수 있게 해줍니다. 장애물을 피하는 자율 주행 자동차나 위협을 즉시 감지하는 감시 시스템 등, 올바른 FPS는 정확성과 효율성을 보장합니다.

FPS의 미래는 단순히 프레임 속도를 높이는 것뿐만 아니라 지능적으로 최적화하는 것입니다. 이러한 진화를 통해 컴퓨터 비전 시스템은 다양한 산업 분야에서 더 빠르고 혁신적이며 리소스 효율성이 높아질 것입니다.

AI에 대해 자세히 알아보고 싶으신가요? GitHub 리포지토리를 살펴보고 커뮤니티에 참여하세요. 나만의 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인해 보세요. 의료 분야에서 컴퓨터 비전이 어떻게 효율성을 개선하고 있는지 알아보고, 유니티의 솔루션 페이지를 방문하여 제조 분야에서 AI가 미치는 영향을 살펴보세요!

Facebook 로고트위터 로고LinkedIn 로고복사 링크 기호

이 카테고리에서 자세히 보기

인공지능의 미래
를 함께 만들어 갑시다!

머신 러닝의 미래와 함께하는 여정 시작하기