视觉转换器（ViT）

视觉变形器的工作原理

ViT 的核心理念是重塑图像处理模式。输入图像首先被分割成一个个不重叠的斑块网格。每个斑块被平铺成一个矢量，然后线性投影到一个嵌入空间。为了保留空间信息，位置嵌入被添加到这些斑块嵌入中。这一连串矢量现在代表了图像斑块及其位置，并被输入到标准的变换器编码器中，详见最初的"一幅图像价值 16x16 个字 "论文。

Transformer 编码器由多个层组成，在很大程度上依赖于自我注意机制。这种机制使模型能够动态地权衡不同片段之间的重要性，从而学习图像远处之间的关系。这种全局感受野与 CNN 通常的局部感受野形成鲜明对比，使 ViT 在理解整体场景背景方面更具优势。The Illustrated Transformer（图解变形器）等资源提供了对变形器基本概念的直观解释。框架，如 PyTorch和 TensorFlow等框架提供了这些组件的实现。

相关性和应用

视觉变换器因其可扩展性和令人印象深刻的性能，尤其是在大规模预训练的情况下，已成为现代深度学习的重要组成部分。它们对全局上下文进行建模的能力使其适用于基本图像分类之外的各种 CV 任务，包括

• 物体检测：类似模型 RT-DETR等模型，通常利用变压器组件实现高精度的物体定位。
• 图像分割：ViT 可用于密集预测任务，如分割图像中的不同物体或区域，如SAM Anything Model（SAM）等模型。
• 医学图像分析：ViT 可帮助检测 X 射线或核磁共振成像等扫描图像中显示疾病的微妙模式，从而提高人工智能在医疗保健领域的诊断准确性。例如，它们可以识别复杂的肿瘤形状或分布，这对局部聚焦模型来说可能具有挑战性。
• 自动驾驶汽车：了解整个交通场景，包括远处的车辆、行人和交通信号，对于安全导航至关重要。ViTs 的全局上下文建模可帮助汽车应用中的人工智能实现全面的场景理解。

ViT 越来越多地集成到Ultralytics HUB等平台和Hugging Face Transformers 等库中，使它们可以用于研究和部署。它们还可以针对NVIDIA Jetson 等设备上的边缘人工智能部署进行优化。

ViT 与 CNN

虽然 ViT 和 CNN 都是计算机视觉领域的基础架构（参见 "视觉模型的历史"），但它们在方法上有很大不同：

• 处理：CNN 使用滑动内核进行卷积运算，重点关注局部模式并构建分层特征。ViTs 采用跨图像斑块的自我关注，从一开始就关注全局关系。
• 归纳偏差：CNN 具有适用于图像的强大内置归纳偏差（如局部性和平移等差性），这通常使其在较小的数据集中更具数据效率。ViT 的归纳偏差较弱，通常需要较大的数据集（或复杂的预训练策略，如CLIP 使用的策略）才能很好地泛化。
• 架构CNN 由卷积层、池化层和全连接层组成。ViT 采用标准的变换器编码器结构。混合模型结合了卷积骨干和变换器头/颈（如RT-DETR 变体），旨在充分利用两者的优势。

选择 ViT 还是 CNN 通常取决于具体任务、可用数据和计算资源。ViT 通常在有大量训练数据的情况下表现出色，而 CNN（如 "Ultralytics "中的 CNN）则需要更多的计算资源。 Ultralytics YOLO系列中的 CNN 仍然高效，尤其适用于在受限设备上进行实时物体检测。