Остаточные сети (ResNet)

Остаточные сети, широко известные как ResNets, представляют собой особый тип архитектуры искусственных нейронных сетей (ANN), разработанный для обучения чрезвычайно глубоких сетей. Внедренная исследователями Microsoft 2015 году, ResNet решила критическую проблему глубокого обучения, известную как проблема исчезающего градиента. В традиционных сетях наложение дополнительных слоев часто приводило к насыщению или ухудшению производительности, поскольку сигнал, необходимый для обновления весов модели, затухал при распространении назад через слои. ResNet ввела «пропускные соединения» (или остаточные соединения), которые позволяют данным обходить один или несколько слоев и поступать непосредственно на последующие этапы обработки. Эта инновация доказала, что более глубокие сети могут быть эффективно обучены, что привело к значительным прорывам в компьютерном зрении (CV) и стало основополагающей концепцией для современных архитектур.

Основная концепция: остаточное обучение

Отличительной особенностью ResNet является «остаточный блок». В стандартной сверточной нейронной сети (CNN) каждый слой пытается научиться прямому отображению от входа к выходу. По мере углубления сетей обучение этому прямому отображению становится все более сложным.

ResNet меняет этот подход, формулируя цель обучения по-другому. Вместо того, чтобы надеяться, что каждый стек слоев выучит все базовое отображение, остаточный блок заставляет слои выучить «остаток» — или разницу — между входом и желаемым выходом. Затем исходный входной сигнал добавляется обратно к обученному остатку через пропускное соединение. Это структурное изменение подразумевает, что если отображение идентичности (пропускающее входной сигнал без изменений) является оптимальным, сеть может легко научиться сбрасывать остатки до нуля. Это значительно упрощает оптимизацию моделей глубокого обучения (DL), позволяя им масштабироваться от десятков до сотен или даже тысяч слоев.

Основные варианты архитектуры

С момента своего появления несколько вариантов ResNet стали стандартными тестами в сообществе искусственного интеллекта.

• ResNet-50: 50-слойная версия, использующая конструкцию «бутылочного горлышка». В этой конструкции используются свертки 1x1 для уменьшения, а затем восстановления размеров, что делает сеть вычислительно эффективной при сохранении высокой точности.
• ResNet-101 и ResNet-152: более глубокие варианты с 101 и 152 слоями соответственно. Они часто используются, когда вычислительные ресурсы позволяют использовать более сложные схемы для получения более сложных карт признаков.
• ResNeXt: эволюция ResNet, в которой введено измерение «кардинальности», разделяющее остаточный блок на несколько параллельных путей, что повышает эффективность и производительность.

Применение в реальном мире

Надежность архитектур ResNet сделала их оптимальным выбором для широкого спектра визуальных задач.

• Анализ медицинских изображений: В здравоохранении чрезвычайно важно выявлять незначительные аномалии на сканах высокого разрешения. Модели на основе ResNet часто используются для detect таких detect , как опухоли на медицинских изображениях, где глубина сети помогает различать мелкие детали на данных МРТ или КТ.
• Автономные транспортные средства: Автомобили с автопилотом требуют надежного извлечения характеристик из изображений с камер для распознавания пешеходов, знаков и препятствий. ResNets часто служат основой для систем обнаружения объектов в искусственном интеллекте в автомобильных приложениях, обеспечивая богатые визуальные характеристики, необходимые для безопасной навигации.

ResNet в сравнении с другими архитектурами

Чтобы понять специфическую полезность ResNet, полезно отличать ее от других популярных архитектур.

• ResNet против VGG: сети VGG (Visual Geometry Group) также являются глубокими CNN, но не имеют остаточных соединений. Следовательно, их гораздо сложнее обучать на глубинах, сопоставимых с ResNet, и они, как правило, более вычислительно затратны из-за своих больших полностью связанных слоев.
• ResNet против Inception: сети Inception фокусируются на ширине, используя фильтры разных размеров в одном и том же слое для захвата признаков в разных масштабах. ResNet фокусируется на глубине. Современные архитектуры, такие как Inception-ResNet, сочетают в себе оба концепта.
• ResNet против Vision Transformer (ViT): В то время как ViT используют механизмы самовнимания для глобальной обработки изображений, ResNet полагаются на локальные свертки. Тем не менее, ResNet остаются сильной базовой линией и часто быстрее для небольших наборов данных или вывода в реальном времени .

Пример реализации

Современные библиотеки глубокого обучения, такие как PyTorch доступ к предварительно обученным моделям ResNet. Эти модели незаменимы для переноса обучения, когда модель обучается на большом наборе данных, таком как ImageNet , подгоняется для решения конкретной задачи.

Следующий Python демонстрирует, как загрузить предварительно обученную модель ResNet-50 с помощью torchvision (часть PyTorch ) и выполнить простой прямой проход. В то время как пользователи Платформа Ultralytics может часто использовать YOLO26 для обнаружения, понимание основных концепций, таких как ResNet, имеет решающее значение для расширенной настройки.

import torch
import torchvision.models as models

# Load a pre-trained ResNet-50 model
resnet50 = models.resnet50(weights=models.ResNet50_Weights.DEFAULT)
resnet50.eval()  # Set model to evaluation mode

# Create a dummy input tensor (batch_size, channels, height, width)
input_tensor = torch.randn(1, 3, 224, 224)

# Perform a forward pass to get predictions
with torch.no_grad():
    output = resnet50(input_tensor)

print(f"Output shape: {output.shape}")  # Expect [1, 1000] for ImageNet classes

Значение в современном ИИ

Хотя более новые архитектуры, такие как YOLO26, используют высокооптимизированные структуры для обеспечения максимальной скорости и точности, принципы остаточного обучения остаются повсеместными. Концепция пропускных соединений в настоящее время является стандартным компонентом многих передовых сетей, включая трансформаторы, используемые в обработке естественного языка (NLP) и новейших моделях обнаружения объектов. Обеспечивая более свободный поток информации по сети, ResNet подготовил почву для глубоких, сложных моделей, которые лежат в основе современного искусственного интеллекта.