K-네이버 이웃(KNN)

KNN 작동 방식

KNN의 핵심 아이디어는 유클리드 거리와 같은 거리 메트릭을 사용하여 정의되는 유사성을 기반으로 합니다. 보이지 않는 새로운 데이터 포인트를 예측할 때, 알고리즘은 저장된 학습 데이터 세트에서 가장 가까운 데이터 포인트(이웃)를 'K' 개 식별합니다. 'K' 값은 사용자가 정의한 정수로, 고려되는 이웃의 수를 나타냅니다.

분류의 경우, 새 포인트는 K개의 이웃 클래스 중 가장 일반적인 클래스에 할당됩니다(다수결 투표). 회귀의 경우, 예측은 일반적으로 K 이웃의 평균값이 됩니다. 거리 메트릭(예: 맨해튼, 밍코스키)의 선택과 'K'의 값은 모델의 성능에 큰 영향을 미치는 중요한 하이퍼파라미터입니다. 특히 대규모 데이터 세트의 경우 이웃 검색 속도를 높이기 위해 KD 트리나 볼 트리와 같은 데이터 구조를 효율적으로 구현하는 경우가 많습니다.

'K'의 값 선택하기

최적의 'K'를 선택하는 것이 중요합니다. 'K' 값이 작으면(예: K=1) 모델이 데이터의 노이즈와 이상값에 매우 민감해져 훈련 데이터에서는 잘 작동하지만 보이지 않는 데이터에서는 성능이 저하되는 과적합이 발생할 가능성이 있습니다. 반대로 'K' 값이 크면 의사 결정 경계가 과도하게 평활화되어 모델이 로컬 패턴에 덜 민감해지고 예측 중에 과소 적합 및 높은 계산 비용이 발생할 수 있습니다. 교차 검증과 같은 기법( Scikit-learn 교차 검증 가이드 참조)을 사용하여 편향성-편차 균형의 균형을 맞추는 적절한 'K'를 찾는 경우가 많습니다. Scikit-learn 라이브러리는 KNN을 구현하고 하이퍼파라미터 검색을 수행하기 위한 도구를 제공하며, 일반적인 팁은 Ultralytics 하이퍼파라미터 튜닝 가이드에서 찾을 수 있습니다.

KNN의 애플리케이션

KNN의 단순성은 특히 해석 가능성을 중시하는 다양한 애플리케이션에 적합합니다:

• 추천 시스템: KNN은 과거 행동을 기반으로 비슷한 취향을 가진 사용자를 식별하여 항목을 추천할 수 있으며, 이는 원칙적으로 넷플릭스와 같은 플랫폼에서 추천 시스템에 사용하는 기술과 유사합니다.
• 기본 이미지 분류: MNIST 데이터 세트와 같은 데이터 세트에서 손으로 쓴 숫자를 인식하는 것과 같은 간단한 이미지 분류 작업에 사용할 수 있습니다.
• 이상 징후 탐지: 이웃과 멀리 떨어져 있는 비정상적인 데이터 포인트를 식별하는 것으로, 네트워크 보안과 같은 영역에서 유용합니다(OWASP 이상 징후 탐지 프로젝트).
• 헬스케어: 특징에 따라 환자를 분류하여 결과를 예측하거나 상태를 진단하여 의료 분야의 AI에 기여합니다( 건강 및 의학 분야의 자연 의학 AI 컬렉션 참조).

KNN의 장점과 단점

KNN은 여러 가지 이점을 제공하지만 제한 사항도 있습니다:

장점:

• 단순성 및 해석 가능성: 이웃을 기반으로 한 예측 로직을 쉽게 이해하고 설명할 수 있습니다.
• 명시적 교육 단계 없음: 모델 재학습이 필요하지 않고 데이터 포인트만 추가하면 되므로 새로운 데이터에 빠르게 적응할 수 있습니다.
• 유연성: 다중 클래스 분류를 자연스럽게 처리하고 회귀에 맞게 조정할 수 있습니다.

단점:

• 추론 시 계산 비용: 모든 학습 지점까지의 거리를 계산해야 하므로 대규모 데이터 세트의 경우 예측 속도가 느려질 수 있습니다.
• 관련 없는 기능에 대한 민감도: 유사성에 기여하지 않는 기능은 성능에 부정적인 영향을 미칠 수 있습니다.
• 차원의 저주: 고차원 공간에서는 거리가 의미가 없어짐에 따라 성능이 저하됩니다. 차원 축소 (예: PCA)와 같은 기술을 사용하면 이를 완화하는 데 도움이 될 수 있습니다.
• 기능 확장의 필요성: 범위가 큰 피처는 거리 계산을 지배할 수 있으므로 피처 스케일링이 필요합니다.
• 최적의 'K' 선택 필요: 성능은 K의 올바른 값 선택에 따라 크게 좌우됩니다.

KNN과 관련 개념

KNN을 다른 알고리즘과 구별하는 것이 중요합니다:

• K-메인 클러스터링: K-Means는 유사도에 따라 데이터를 K개의 클러스터로 그룹화하는 데 사용되는 비지도 학습 알고리즘입니다. KNN은 레이블이 지정된 이웃을 기반으로 분류 또는 회귀에 사용되는 지도 학습 알고리즘입니다.
• 서포트 벡터 머신(SVM): SVM은 클래스를 구분하기 위한 최적의 하이퍼플레인을 찾는 지도 알고리즘입니다. KNN은 로컬 이웃 유사성을 기반으로 분류하는 반면, SVM은 전역 최적 경계를 찾습니다. Scikit-learn SVM 페이지에서 자세히 알아보세요.
• 의사 결정 트리: 의사 결정 트리는 일련의 계층적 규칙을 학습하여 트리와 같은 구조를 만들어 데이터를 분류합니다. KNN은 거리 기반 유사성을 사용하는 반면, 의사 결정 트리는 특징 기반 분할을 사용합니다. 자세한 내용은 Scikit 학습 의사 결정 트리 페이지를 참조하세요.

KNN은 특정 작업과 기본적인 ML 개념을 이해하는 데 유용하지만, 실시간 객체 감지와 같은 복잡한 문제에는 다음과 같은 고급 모델의 이점이 더 큰 경우가 많습니다. Ultralytics YOLO와 같은 고급 모델이 특히 대규모 컴퓨터 비전 데이터 세트에서 뛰어난 속도와 성능을 제공합니다. 이러한 모델을 훈련하고 배포하려면 Ultralytics HUB와 같은 플랫폼을 사용할 수 있습니다.