데이터 전처리

데이터 전처리가 중요한 이유는 무엇인가요?

머신러닝 모델은 데이터에서 패턴을 학습합니다. 데이터에 결함이 있으면 모델이 잘못된 패턴을 학습하여 잘못된 예측과 결정을 내릴 수 있습니다. 다음과 같은 강력한 모델을 구축하려면 고품질의 잘 준비된 데이터가 필수적입니다. Ultralytics YOLO 와 같은 강력한 모델을 구축하려면 고품질의 준비된 데이터가 필수적입니다. 효과적인 데이터 사전 처리가 도움이 됩니다:

• 모델 정확도 향상: 깨끗한 데이터는 더 정확한 모델로 이어집니다.
• 교육 시간 단축: 관련성이 없거나 중복된 데이터를 제거하면 교육 프로세스의 속도를 높일 수 있습니다.
• 오류 방지: 불일치를 처리하면 모델이 잘못된 상관관계를 학습하는 것을 방지할 수 있습니다.
• 일반화 향상: 적절하게 사전 처리된 데이터는 보이지 않는 데이터에 대한 모델의 성능을 향상시켜 과적합을 줄여줍니다.

일반적인 데이터 전처리 기법

데이터 전처리에는 일반적으로 몇 가지 기술이 사용됩니다:

• 데이터 정리: 여기에는 데이터 세트의 오류, 불일치, 누락된 값(대입) 및 이상값을 식별하고 처리하는 작업이 포함됩니다. 데이터의 정확성과 일관성을 보장합니다.
• 데이터 혁신: 여기에는 다음과 같은 기술이 포함됩니다:
  • 정규화/스케일링: 수치 특징의 범위 또는 분포를 조정합니다(예: 이미지의 픽셀 값을 0-255에서 0-1로 스케일링). 이렇게 하면 값이 큰 피처가 모델에 불균형하게 영향을 미치지 않도록 합니다.
  • 범주형 변수 인코딩: 원핫 인코딩과 같은 방법을 사용하여 범주나 레이블과 같은 숫자가 아닌 데이터를 모델이 이해할 수 있는 숫자 형식으로 변환합니다.
• 기능 엔지니어링: 모델 성능을 개선하기 위해 기존 피처에서 잠재적으로 더 많은 정보를 제공할 수 있는 새로운 피처를 생성합니다.
• 특징 추출: 이미지 처리에 자주 사용되는 원본 데이터에서 새로운 저차원 특징을 자동으로 도출하는 기능입니다.
• 차원 감소: 중요한 정보를 보존하면서 입력 특징의 수를 줄여 모델을 단순화하고 계산 비용을 줄일 수 있습니다. 주성분 분석(PCA) 과 같은 기법이 일반적으로 사용됩니다.
• 이미지 사전 처리: 컴퓨터 비전과 관련하여 이미지 크기를 균일한 크기로 조정하고, 색 공간을 변환(예: RGB를 그레이스케일로 변환)하고, 노이즈 감소를 위한 필터를 적용하는 작업이 포함됩니다. 자세한 내용은 주석이 달린 데이터 사전 처리에 대한Ultralytics 가이드에서 확인할 수 있습니다.

실제 애플리케이션

1. 자율 주행 차량을 위한 컴퓨터 비전: 카메라의 이미지 데이터는 광범위한 사전 처리가 필요합니다. 여기에는 이미지 크기 조정, 픽셀 강도 정규화, 렌즈 왜곡 보정, 무작위 회전 또는 밝기 조정과 같은 데이터 증강 기술을 적용하여 다양한 조건에서 물체 감지 모델을 강력하게 만드는 작업이 포함됩니다. 이러한 데이터 세트를 관리하는 데는 Ultralytics HUB와 같은 플랫폼이 도움이 될 수 있습니다.
2. 제조업의 예측 유지보수: 기계의 센서 데이터(온도, 진동, 압력)는 종종 노이즈가 많고 누락된 판독값이 포함될 수 있습니다. 전처리에는 제조 분야의 AI에서 설명한 대로 노이즈를 필터링하고, 통계적 방법을 사용하여 누락된 값을 대입하고, 센서 판독값을 정규화하여 데이터를 정리한 후 ML 모델에 입력하여 장비 고장을 예측하는 작업이 포함됩니다.

데이터 전처리와 관련 개념 비교

• 데이터 정리와 데이터 전처리 비교: 데이터 정리는 데이터 사전 처리의 하위 집합으로, 특히 오류, 누락된 값 및 불일치 처리에 중점을 둡니다. 데이터 전처리는 정리, 변환, 특징 조작을 포함하는 보다 광범위한 개념입니다.
• 데이터 라벨링과 데이터 전처리 비교: 데이터 라벨링은 원시 데이터에 유용한 태그나 주석(예: 객체 감지를 위한 경계 상자 )을 추가하여 지도 학습을 위한 기초 자료를 제공하는 작업입니다. 이 작업은 일반적으로 데이터 전처리 전에 이루어지며, 라벨링된 데이터는 모델 학습을 위해 준비됩니다. 자세한 내용은 데이터 수집 및 어노테이션 가이드를 참조하세요.
• 데이터 증강과 데이터 전처리 비교: 데이터 증강은 기존 데이터의 수정된 복사본을 생성하여(예: 이미지 뒤집기, 노이즈 추가) 학습 데이터 세트의 크기와 다양성을 인위적으로 증가시킵니다. 전처리 단계와 밀접한 관련이 있고 종종 함께 적용되지만, 데이터의 정리나 서식 지정이 아닌 모델 일반화를 개선하는 것이 주된 목표입니다. 종종 증강을 포함하는 모델 학습을 위한 팁을 살펴보세요.

도구 및 리소스

다양한 라이브러리와 도구를 통해 데이터 전처리가 용이해집니다:

• Pandas: 데이터 조작 및 분석에 널리 사용되는 Python 라이브러리로, 표 형식의 데이터를 정리하고 변환하는 데 탁월합니다.
• Scikit-learn: 스케일러, 인코더, 임퍼테이션 메서드 등 다양한 전처리 도구를 제공합니다. preprocessing 모듈.
• OpenCV: 컴퓨터 비전 작업을 위한 핵심 라이브러리로, 이미지 전처리를 위한 광범위한 기능을 제공합니다.
• NumPy: Python 숫자 연산을 위한 기본 패키지로, 전처리 중 배열 조작에 자주 사용됩니다.
• Ultralytics 문서: YOLO 모델의 데이터 처리와 관련된 가이드 및 예제를 제공합니다.

요약하자면, 데이터 전처리는 머신러닝 워크플로에서 필수적인 단계로, 데이터를 모델 학습에 가장 적합한 상태로 유지하여 보다 안정적이고 정확한 AI 시스템을 구축할 수 있도록 합니다.