Обнаружение аномалий

Как работает обнаружение аномалий

Методы обнаружения аномалий анализируют данные, чтобы установить базовый уровень нормальности. Все, что выходит за эти рамки, отмечается как аномалия. Используемые методы могут варьироваться от простых статистических подходов, таких как выявление точек, далеких от среднего значения, до сложных моделей глубокого обучения, способных понять замысловатые закономерности в высокоразмерных данных. Основные подходы включают:

• Супервизорное обучение: Требуется набор данных с метками, содержащий как нормальные, так и аномальные примеры. Несмотря на свою эффективность, получение помеченных аномальных данных может быть сложной задачей, так как аномалии часто бывают редкими и неожиданными.
• Полуподконтрольное обучение: Тренируется на наборе данных, содержащем только нормальные данные. Модель изучает нормальные паттерны, а любая точка данных, которая не соответствует им, считается аномальной. Это полезно, когда аномалии разнообразны или плохо определены.
• Неподконтрольное обучение: Не требует меченых данных. Оно использует такие техники, как кластеризация (например, DBSCAN) или уменьшение размерности (например, PCA), чтобы определить точки данных, которые изолированы или отличаются от большинства. Также здесь часто используются автоэнкодеры.

Обнаружение аномалий по сравнению со смежными понятиями

Несмотря на то что обнаружение аномалий связано с другими задачами анализа данных, оно имеет свои цели:

• Обнаружение объектов: Цель - идентифицировать и определить местоположение известных объектов (например, машин, людей) на изображении с помощью ограничивающих боксов. Обнаружение аномалий, особенно в компьютерном зрении, сосредоточено на выявлении неожиданных визуальных паттернов или дефектов, которые не соответствуют норме и могут не соответствовать заранее определенным классам объектов.
• Классификация изображений: Присваивает единую метку всему изображению (например, "кошка" или "собака"). Обнаружение аномалий может работать с различными типами данных (изображения, временные ряды, сетевые журналы) и выявляет конкретные случаи или закономерности в данных, которые являются необычными, вместо того чтобы классифицировать всю точку данных.
• Обнаружение выбросов: Часто используется как взаимозаменяемое понятие с определением аномалий. Однако "выброс" обычно означает точку данных, которая статистически отличается от других, в то время как "аномалия" может охватывать более сложные отклонения, включая необычные паттерны или контекстуальные нарушения, которые могут не быть простыми статистическими выбросами.

Применение в реальном мире

Обнаружение аномалий имеет решающее значение во многих областях:

• Контроль качества на производстве: Выявление таких дефектов, как трещины, царапины или несоосность изделий на сборочной линии, с помощью систем технического зрения. Например, обнаружение крошечных трещин в компонентах самолетов или неправильно напечатанных этикеток на фармацевтической продукции.
• Кибербезопасность: Обнаружение необычных моделей сетевого трафика, попыток входа в систему или поведения системы, которые могут указывать на вторжения, заражения вредоносным ПО или атаки типа "отказ в обслуживании". Системы охранной сигнализации могут использовать обнаружение аномалий, чтобы отмечать подозрительные действия.
• Обнаружение финансового мошенничества: Выявление несанкционированных операций с кредитными картами, необычной торговой деятельности или страховых случаев, которые отклоняются от типичного поведения клиентов.
• Анализ изображений в здравоохранении и медицине: Выявление аномалий на медицинских снимках (например, рентгеновских или магнитно-резонансных), которые могут указывать на опухоли или заболевания, часто помогает радиологам. В качестве примера можно привести использование YOLO11 для обнаружения опухолей.
• Мониторинг состояния системы: Обнаружение необычных показателей производительности IT-системCPU использованиеCPU , утечки памяти) или промышленного оборудования(предиктивное обслуживание) для предотвращения сбоев.
• Мониторинг окружающей среды: Выявление событий, связанных с загрязнением окружающей среды, незаконной вырубкой лесов с помощью анализа спутниковых снимков или необычных изменений в экосистемах.

Инструменты и технологии

Разработка систем обнаружения аномалий часто предполагает использование стандартных библиотек ML и специализированных платформ. Такие фреймворки, как PyTorch и TensorFlow предоставляют фундаментальные инструменты для построения пользовательских моделей. Для задач, основанных на зрении, такие модели, как Ultralytics YOLO могут быть адаптированы. Хотя предварительно обученные модели YOLO отлично справляются с обнаружением обычных объектов, их можно настраивать на конкретных наборах данных, чтобы выявлять аномалии, характерные для конкретной области, например уникальные дефекты или необычные визуальные паттерны, не охваченные такими наборами данных, как COCO. Платформы вроде Ultralytics HUB предлагают интегрированные среды для облачного обучения, развертывания(варианты развертывания моделей) и эффективного управления такими моделями с помощью инструментов вроде Ultralytics HUB SDK. Библиотеки вроде Scikit-learn также предлагают различные алгоритмы для обнаружения выбросов и аномалий.

Обнаружение аномалий - жизненно важная способность современных ИИ и МЛ, позволяющая заблаговременно выявлять критические проблемы и отклонения во многих отраслях. Узнай больше о смежных понятиях в нашем глоссарииUltralytics .