CPU

AI 및 머신 러닝에서의 역할

CPU는 범용 프로세서로 설계되어 일련의 명령어를 빠르게 실행하고 다양한 계산 작업을 처리하는 데 탁월합니다. 성능에 영향을 미치는 주요 특성으로는 클럭 속도(초당 작업 수)와 코어 수(작업의 병렬 실행 허용)가 있습니다. 다음과 같은 제조업체의 최신 CPU는 Intel 및 AMD와 같은 제조업체의 최신 CPU는 여러 개의 코어를 갖추고 있지만, GPU의 대규모 병렬 아키텍처를 가지고 있지 않아 딥 러닝 훈련에서 흔히 사용되는 대규모 행렬 곱셈에는 적합하지 않습니다.

그러나 CPU는 몇 가지 중요한 기능을 위해 AI/ML 파이프라인에서 없어서는 안 될 필수 요소입니다:

• 데이터 준비: 데이터 세트 로드, 데이터 정리, 변환, 데이터 증강과 같은 작업은 CPU에서 효율적으로 실행되는 경우가 많습니다. Pandas와 같은 라이브러리와 Scikit-learn의 일부는 CPU 프로세싱에 크게 의존합니다. 컴퓨터 비전 프로젝트를 위한 데이터 준비는 CPU 많이 CPU 일반적인 단계입니다.
• 워크플로 오케스트레이션: CPU는 ML 파이프라인의 전반적인 실행 흐름을 관리하여 다양한 하드웨어 구성 요소(예: GPU)와 소프트웨어 모듈 간의 작업을 조정합니다.
• 기존 ML 모델: 서포트 벡터 머신(SVM) 및 랜덤 포레스트와 같은 많은 고전적인 ML 알고리즘은 종종 CPU에서 효과적으로 학습되고 실행됩니다.
• 추론: GPU는 추론에 높은 처리량을 제공하지만, 특히 리소스가 제한된 환경(에지 AI)이나 배치 처리량보다 단일 예측에 대한 지연 시간이 우선시되는 경우 실시간 추론에는 CPU가 자주 사용됩니다. ONNX 런타임 및 Intel OpenVINO 툴킷과 같은 프레임워크는 CPU에 최적화된 추론 기능을 제공합니다. Ultralytics 모델은 다음과 같은 형식으로 내보낼 수 있습니다. ONNX 와 같은 형식으로 내보낼 수 있으며, 모델 내보내기 문서에 자세히 설명되어 있습니다.
• 입력/출력(I/O) 작업: CPU는 모델과 데이터를 로드하는 데 필수적인 스토리지 및 네트워크 통신에서 데이터의 읽기 및 쓰기를 처리합니다.

CPU GPU 및 TPU

CPU, GPU, TPU의 주요 차이점은 아키텍처와 사용 목적에 있습니다:

• CPU: 순차적 작업의 짧은 지연 시간 실행에 최적화된 범용 프로세서입니다. 강력한 코어가 몇 개 있습니다. 제어 흐름, 운영 체제 기능 및 다양한 계산에 이상적입니다.
• GPU: 원래 그래픽용이었으나 현재는 AI에 널리 사용됩니다. 딥 러닝의 행렬과 같은 대규모 데이터 블록의 병렬 처리에 최적화된 수천 개의 작은 코어가 특징입니다. 예시는 NVIDIA GPU를 참조하세요. 다음과 같은 모델에 대한 트레이닝을 크게 가속화합니다. Ultralytics YOLO.
• TPU: 신경망에서 사용되는 tensor 계산을 가속화하기 위해 특별히 설계된 Google 맞춤형 하드웨어, 특히 TensorFlow 프레임워크 내에서 사용되는 텐서 계산을 가속화하도록 특별히 설계되었습니다. 특정 ML 워크로드에서 높은 처리량과 효율성을 위해 최적화되었습니다.

복잡한 모델을 훈련하기 위해 GPU 또는 TPU에 크게 의존하는 시스템에서도 YOLOv10 또는 YOLO11와 같은 복잡한 모델을 훈련하는 경우에도 CPU 전체 시스템을 관리하고, 데이터를 준비하며, 가속기에 적합하지 않은 워크플로우의 일부를 처리합니다. 올바른 하드웨어를 선택하려면 효율적인 모델 배포를 위해 이러한 장단점을 이해해야 합니다.

CPU 사용한 실제 AI/ML 예제

1. 자연어 처리(NLP) 전처리: 텍스트를 더 작은 단위(단어 또는 하위 단어)로 분해하는 토큰화와 같은 작업은 NLP의 기본입니다. Hugging Face 토큰화 라이브러리와 같은 라이브러리는 데이터가 모델 추론이나 훈련을 위해 GPU 전달되기 전에 CPU 이러한 작업을 효율적으로 수행하는 경우가 많습니다.
2. 엣지 디바이스 추론: 많은 에지 AI 애플리케이션은 라즈베리 파이나 ARM 아키텍처 기반 디바이스처럼 전력과 연산 리소스가 제한된 디바이스에 ML 모델을 배포합니다. 이러한 시나리오에서는 추론이 디바이스의 CPU 직접 실행되는 경우가 많으며, TensorFlow Lite와 같은 최적화된 라이브러리나 OpenVINO 와 같은 최적화된 라이브러리를 사용하여 기본 객체 감지 또는 키워드 스팟팅과 같은 작업에 적합한 성능을 달성할 수 있습니다. 이러한 배포를 관리하는 것은 Ultralytics HUB와 같은 플랫폼을 통해 용이하게 할 수 있습니다.

데이터 처리(데이터 수집 가이드 참조)부터 다양한 하드웨어 플랫폼에서의 효율적인 배포에 이르기까지 엔드투엔드 AI 시스템을 설계하고 최적화하려면 CPU 성능과 한계를 이해하는 것이 중요합니다.