추론 엔진

추론 엔진의 작동 방식

추론 엔진은 사전 학습된 모델을 활용하며, 종종 다음과 같은 프레임워크를 사용하여 개발됩니다. PyTorch 또는 TensorFlow와 같은 프레임워크를 사용하여 개발된 사전 학습된 모델을 활용합니다. 새로운 데이터(예: 이미지, 오디오 클립 또는 텍스트 문장)가 입력으로 제공되면 추론 엔진은 모델의 계산 그래프를 통해 이를 처리합니다. 이를 통해 이미지에서 객체를 식별하거나 음성을 텍스트로 변환하거나 감정을 분류하는 등의 출력이 생성됩니다. Ultralytics YOLO 모델은 강력한 클라우드 서버부터 리소스가 제한된 엣지 디바이스에 이르기까지 다양한 플랫폼에서 실시간 객체 감지 및 세분화를 달성하기 위해 효율적인 추론 엔진에 의존합니다. 추론 엔진의 성능은 애플리케이션의 속도와 응답성에 직접적인 영향을 미치며, 추론 지연 시간으로 측정되는 경우가 많습니다.

최적화 및 주요 기능

최신 추론 엔진은 속도와 효율성을 높이기 위해 다양한 최적화 기술을 통합하여 다양한 하드웨어에 AI를 배포할 수 있도록 합니다. 일반적인 전략은 다음과 같습니다:

• 모델 최적화: 모델 정량화 (모델 가중치의 정밀도 감소) 및 모델 가지치기 (중복 매개변수 제거)와 같은 기술은 모델 크기와 계산 요구 사항을 크게 줄여줍니다. 이 퀵 가이드에서 모델 최적화가 무엇인지 자세히 알아보세요.
• 하드웨어 가속: 엔진은 종종 계산 속도를 높이기 위해 GPU, TPU 또는 NVIDIA Jetson 플랫폼과 같은 특정 가속기와 같은 특수 하드웨어를 활용합니다.
• 포맷 호환성: ONNX (개방형 신경망 교환)와 같은 표준 모델 포맷을 지원합니다, TensorRT및 OpenVINO 를 사용하면 하나의 프레임워크에서 학습된 모델을 다양한 엔진과 하드웨어에 배포할 수 있습니다. 다양한 모델 배포 옵션을 살펴보세요.

트레이닝 프레임워크는 모델을 구축하고 가르치는 데 중점을 두는 반면, 추론 엔진은 예측 작업을 위해 이렇게 학습된 모델을 효율적으로 실행하는 데 특화되어 있습니다.

실제 애플리케이션

추론 엔진은 수많은 AI 애플리케이션의 기본입니다:

1. 자율 주행: 자율 주행 차량은 추론 엔진에 크게 의존하여 카메라, LiDAR 및 기타 센서의 데이터를 실시간으로 처리합니다. 이러한 엔진은 복잡한 컴퓨터 비전 모델을 실행하여 보행자, 다른 차량, 차선 표시, 교통 표지판을 감지하여 안전한 주행을 가능하게 합니다. 최적화된 추론 엔진이 제공하는 짧은 지연 시간은 자율주행차의 AI에 대한 논의에서 자세히 설명한 것처럼 순식간에 주행 결정을 내리는 데 매우 중요합니다.
2. 의료 이미지 분석: 의료 분야에서 추론 엔진은 MRI나 CT 스캔과 같은 의료 스캔을 분석하도록 훈련된 모델을 배포합니다. 추론 엔진은 뇌종양을 감지하거나 질병의 징후를 식별하는 등 잠재적인 이상 징후를 빠르게 찾아내어 영상의학과 전문의의 진단을 지원할 수 있습니다. 이 애플리케이션은 추론 엔진이 어떻게 더 빠르고 잠재적으로 더 정확한 의료 이미지 분석을 지원하는지 보여줍니다. Ultralytics HUB와 같은 플랫폼은 이러한 모델의 훈련과 배포를 용이하게 합니다.

이러한 사례는 추론 엔진이 농업의 AI, 제조업의 AI 등 다양한 산업에서 학습된 AI 모델과 실제적인 실제 영향력 사이의 간극을 어떻게 메우는지 보여줍니다.