Thuật ngữ

Chuyển giao học tập

Mở khóa sức mạnh của việc học chuyển giao để tiết kiệm thời gian, tăng cường hiệu suất AI và giải quyết các nhiệm vụ mới với dữ liệu hạn chế bằng cách sử dụng các mô hình được đào tạo trước.

Xe lửa YOLO mô hình đơn giản
với Ultralytics TRUNG TÂM

Tìm hiểu thêm

Học chuyển giao là một kỹ thuật Học máy (ML) trong đó một mô hình được phát triển cho một tác vụ được sử dụng lại làm điểm khởi đầu cho một mô hình trên tác vụ thứ hai có liên quan. Thay vì xây dựng một mô hình từ đầu, học chuyển giao tận dụng kiến thức (tính năng, trọng số) học được từ tác vụ nguồn, giúp giảm đáng kể thời gian đào tạo, yêu cầu dữ liệu và tài nguyên tính toán cần thiết cho tác vụ mục tiêu. Cách tiếp cận này đặc biệt có lợi khi tác vụ mục tiêu có dữ liệu được gắn nhãn hạn chế.

Học chuyển giao hoạt động như thế nào

Quá trình này thường bắt đầu bằng một mô hình được đào tạo trước trên một tập dữ liệu chung lớn, chẳng hạn như ImageNet cho các tác vụ hình ảnh hoặc các tập hợp văn bản lớn cho Xử lý ngôn ngữ tự nhiên (NLP) . Quá trình đào tạo trước này cho phép mô hình, thường là mô hình Học sâu (DL) như Mạng nơ-ron tích chập (CNN) hoặc Transformer , học các tính năng chung—cạnh, kết cấu, mẫu trong hình ảnh hoặc ngữ pháp và ngữ nghĩa trong văn bản.

Đối với nhiệm vụ mục tiêu mới, mô hình được đào tạo trước này được điều chỉnh. Các chiến lược phổ biến bao gồm:

  1. Sử dụng Mô hình được đào tạo trước làm Trình trích xuất tính năng: Các lớp ban đầu của mô hình được đào tạo trước được giữ nguyên (trọng số của chúng không được cập nhật) và chỉ có lớp phân loại cuối cùng hoặc lớp dành riêng cho tác vụ mới được đào tạo trên tập dữ liệu mới.
  2. Tinh chỉnh: Điều này bao gồm việc giải phóng một số hoặc tất cả các lớp được đào tạo trước và tiếp tục quá trình đào tạo ( truyền ngược ) trên tập dữ liệu mới, thường với tốc độ học thấp hơn để tránh thay đổi đáng kể các tính năng đã học. Tinh chỉnh cho phép mô hình chuyên môn hóa kiến thức chung của nó cho các sắc thái cụ thể của nhiệm vụ mục tiêu.

Lợi ích của việc học chuyển giao

Áp dụng phương pháp học chuyển giao mang lại một số lợi thế quan trọng:

  • Giảm nhu cầu dữ liệu: Đạt được hiệu suất tốt ngay cả với các tập dữ liệu mục tiêu nhỏ hơn.
  • Phát triển nhanh hơn: Giảm đáng kể thời gian đào tạo mô hình.
  • Hiệu suất được cải thiện: Thường mang lại độ chính xác cao hơn và khả năng khái quát tốt hơn so với việc đào tạo từ đầu, đặc biệt là đối với các nhiệm vụ phức tạp.
  • Hiệu quả sử dụng tài nguyên: Tiết kiệm chi phí tính toán (thời gian GPU , năng lượng) liên quan đến đào tạo mở rộng.

Chuyển giao học tập so với các khái niệm liên quan

  • Tinh chỉnh: Như đã đề cập, tinh chỉnh là một phương pháp cụ thể được sử dụng trong quá trình học chuyển giao, trong đó các trọng số được đào tạo trước được điều chỉnh trong quá trình đào tạo trên tác vụ mới. Học chuyển giao là khái niệm rộng hơn về việc tận dụng kiến thức, cũng có thể chỉ bao gồm việc sử dụng mô hình được đào tạo trước như một trình trích xuất tính năng cố định mà không cần tinh chỉnh.
  • Học Zero-Shot: Không giống như học chuyển giao, vốn điều chỉnh mô hình theo nhiệm vụ mới thường sử dụng một số dữ liệu được gắn nhãn mới, Học Zero-Shot hướng đến thực hiện các nhiệm vụ (như phân loại) trên các lớp mà mô hình chưa từng thấy trong quá trình đào tạo, dựa trên thông tin phụ trợ hoặc không gian thuộc tính được chia sẻ.
  • Đào tạo từ đầu: Đây là phương pháp truyền thống trong đó trọng số mô hình được khởi tạo ngẫu nhiên và chỉ được đào tạo trên tập dữ liệu mục tiêu, đòi hỏi nhiều dữ liệu và thời gian hơn đáng kể.

Ứng dụng trong thế giới thực

Học chuyển giao được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau:

  1. Tầm nhìn máy tính: Các mô hình như Ultralytics YOLO , được đào tạo trước trên các tập dữ liệu lớn như COCO , thường được điều chỉnh cho các nhiệm vụ phát hiện đối tượng chuyên biệt, phân đoạn hình ảnh hoặc phân loại hình ảnh . Ví dụ, một mô hình được đào tạo trước trên các đối tượng hàng ngày có thể được tinh chỉnh cho các ứng dụng cụ thể như phân tích hình ảnh y tế để phát hiện bất thường ( phát hiện khối u ) hoặc cho AI trong nông nghiệp để xác định các loại cây trồng hoặc sâu bệnh cụ thể. Bạn có thể tìm hiểu cách áp dụng học chuyển giao với YOLOv5 bằng cách đóng băng các lớp .
  2. Xử lý ngôn ngữ tự nhiên (NLP): Các mô hình ngôn ngữ lớn (LLM) như BERTGPT được đào tạo trước trên các tập dữ liệu văn bản lớn. Chúng đóng vai trò là các mô hình cơ sở mạnh mẽ có thể được tinh chỉnh cho các tác vụ NLP cụ thể như phân tích tình cảm , nhận dạng thực thể được đặt tên (NER) hoặc xây dựng các chatbot chuyên biệt. Các thư viện như Hugging Face Transformers hỗ trợ rất nhiều cho quá trình này.

Các nền tảng như Ultralytics HUB đơn giản hóa quá trình áp dụng học chuyển giao bằng cách cung cấp các mô hình được đào tạo trước ( YOLOv8 , YOLOv11 ) và các công cụ để đào tạo tùy chỉnh dễ dàng trên các tập dữ liệu cụ thể của người dùng. Các khuôn khổ như PyTorchTensorFlow cũng cung cấp hỗ trợ và hướng dẫn mở rộng cho học chuyển giao. Để tìm hiểu sâu hơn, hãy khám phá các tài nguyên như tổng quan về Stanford CS231n hoặc các cuộc khảo sát học thuật như " Khảo sát về Học chuyển giao sâu ".

Đọc tất cả