추론 엔진이 Ultralytics 같은 머신러닝 모델을 실시간 배포를 위해 최적화하는 방식을 알아보세요. 지금 바로 엣지 AI 성능 향상을 위한 팁을 확인하세요.
추론 엔진은 훈련된 머신러닝 모델을 실행하고 새로운 데이터로부터 예측을 생성하도록 설계된 특수 소프트웨어 구성 요소입니다. 역전파와 같은 계산 집약적 프로세스를 통해 패턴 학습에 집중하는 훈련 단계와 달리, 추론 엔진은 모델 배포로 알려진 운영 단계에 엄격히 최적화되어 있습니다. 주요 목표는 확장 가능한 클라우드 서버든 배터리 구동형 엣지 AI 장치든 대상 하드웨어에서 추론 지연 시간을 최소화하고 처리량을 극대화하며 가능한 한 효율적으로 계산을 실행하는 것입니다. 훈련에 필요한 오버헤드를 제거함으로써 이러한 엔진은 복잡한 신경망이 실시간 애플리케이션에서 작동할 수 있도록 합니다.
훈련 환경에서 추론 엔진으로의 전환은 일반적으로 모델 구조를 간소화하기 위한 여러 최적화 단계를 수반합니다. 모델이 더 이상 학습할 필요가 없기 때문에 엔진은 기울기 업데이트에 필요한 데이터를 제거하여 모델 가중치를 효과적으로 고정시킬 수 있습니다. 추론 엔진에서 흔히 사용되는 기법으로는 메모리 접근을 줄이기 위해 여러 연산을 단일 단계로 결합하는 레이어 융합과 고정밀 부동소수점 형식의 가중치를 저정밀 정수(예: INT8)로 변환하는 모델 양자화가 있습니다.
이러한 최적화를 통해 Ultralytics 같은 고급 아키텍처가 정확도 저하 없이 놀라울 정도로 빠른 속도로 실행될 수 있습니다. 다양한 엔진은 최대 성능을 발휘하도록 특정 하드웨어 생태계에 맞춤화되는 경우가 많습니다:
추론 엔진은 현대 AI의 다양한 편의 기능을 뒷받침하는 조용한 동력으로, 컴퓨터 비전 시스템이 환경에 즉각적으로 반응할 수 있게 합니다.
모델을 생성하는 데 사용되는 소프트웨어와 모델을 실행하는 데 사용되는 엔진을 구분하는 것이 유용합니다. 훈련 프레임워크 (예: PyTorch 또는 TensorFlow)는 아키텍처 설계, 손실 계산, 지도 학습을 통한 매개변수 업데이트를 위한 도구를 제공합니다. 유연성과 디버깅 기능을 우선시합니다.
반면 추론 엔진은 훈련 프레임워크에서 완성된 아티팩트를 받아 실행 속도와 메모리 효율성을 최우선으로 합니다. 훈련 프레임워크 내에서 추론을 실행할 수는 있지만, 전용 엔진을 사용하는 것만큼 효율적인 경우는 드뭅니다. 특히 TensorFlow Apple Core ML 같은 도구를 통해 모바일폰이나 임베디드 장치에 배포할 때는 더욱 그렇습니다.
그리고 ultralytics 패키지는 추론 엔진의 복잡성을 상당 부분 추상화하여 사용자가 예측을 원활하게 실행할 수 있도록 합니다. 내부적으로는 이미지 전처리와 모델 실행을 처리합니다.
확장을 원하는 사용자를 위해, Ultralytics 플랫폼 다양한 추론 엔진과 호환되는 최적화된 형식으로 모델을 훈련하고 내보내는 과정을 간소화합니다.
다음 예제는 사전 훈련된 YOLO26 모델을 로드하고 이미지에 대해 추론을 실행하는 방법을 보여줍니다:
from ultralytics import YOLO
# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")
# Run inference on an image from a URL
# The 'predict' method acts as the interface to the inference process
results = model.predict("https://ultralytics.com/images/bus.jpg")
# Display the results
results[0].show()
.webp)