利用HuggingFace 的变形金刚为开源计算机视觉提供动力

在我们继续探索YOLO VISION 2023(YV23) 活动亮点的同时，让我们来认识一下Merve Noyan，她是开发者宣传工程师。 HuggingFace的开发者宣传工程师 Merve Noyan。在她的演讲中，Merve 分享了她对开源计算机视觉世界的一些令人难以置信的见解。 

欢迎加入我们的行列，我们将带您领略转移学习、变压器和开源计算机视觉生态系统的迷人魅力。

迁移学习揭开面纱：快速回顾

梅尔夫首先简要介绍了迁移学习，它是让我们将知识从一个神经网络迁移到另一个神经网络的法宝。试想一下，在早期层中根据通用特征（如边和角）训练一个模型，然后针对特定任务对其进行微调。这就是迁移学习的精髓，它可以减少数据依赖性，提高准确性。

Merve 重点介绍了 ResNet 和 Inception 等经典卷积骨干，为未来的转型之旅奠定了基础。

进入变形金刚揭开谜底

变形金刚有何特别之处？Merve 将其比作一个谜语，展示了它们与传统卷积模型的不同之处。秘诀在于它们能够进行自我监督学习，无需标注数据即可捕捉特征。在她介绍的基于变压器的模型中，有 Vision Transformer、Data Efficient Transformer、CLIP 和 SWIM CLIP 等明星产品。 

与Ultralytics 建立了一些共同点，后者为专为对象检测设计的转换器模型 提供了支持。该模型具有有效的混合编码器、IOU 感知查询选择和可调推理速度。值得注意的是，它遵循了其他模型所熟悉的模式，提供了预测、训练和推理选项。 Ultralytics YOLOv8模型，提供预测、训练、验证和输出选项。

您的一站式商店

随后，Merve 钻进了HuggingFace 的宝库，这里有超过 8000 个用于经典计算机视觉任务的模型和 10,000 个用于多模态应用的模型。HuggingFace Hub 拥有多达 3000 多个数据集，是开发人员和爱好者的乐园。Merve 强调，得益于HuggingFace 一致的 API，可为各种用例提供随时可用的模型，从而实现无缝体验。

动手变魔术HuggingFace

讲座过渡到实际演示，展示了如何毫不费力地使用模型。从实例化模型和处理器到使用 Trainer API 进行微调，Merve 清楚地表明HuggingFace Transformers 库是开发人员最好的朋友。她甚至介绍了个人最喜欢的管道应用程序接口（Pipeline API），为用户简化了工作流程。

应用一瞥

最后，Merve 介绍了一些神奇的应用，包括用于视觉问题解答的 Plot 模型、用于图像字幕的 Blip 以及用于图像分割的强大的 Segment Anything 模型。HuggingFace Ecosystem 的管道应用程序接口（Pipeline API）成为焦点，它使模型的使用变得轻而易举，无需深入研究技术细节。

最精彩的是，Merve 展示了利用极乐世界扩散技术创造光学幻象，这种迷人的体验为人工智能世界增添了乐趣。

简而言之

总之，Merve 的演讲让我们深受启发，迫不及待地想要探索开源计算机视觉的无限可能。HuggingFace 确实让人工智能变得容易获取、有趣和令人兴奋，让开发人员能够释放他们的创造力。让我们为开源社区的未来和它所带来的令人难以置信的创新干杯！ 

点击这里观看整个讲座！