Học tập tương phản

Học tập tương phản hoạt động như thế nào

Quá trình này thường bao gồm các bước sau:

1. Tăng cường dữ liệu: Bắt đầu với một điểm dữ liệu không có nhãn (ví dụ: hình ảnh). Tạo hai hoặc nhiều phiên bản tăng cường của điểm dữ liệu này. Các phiên bản tăng cường này tạo thành một "cặp dương" vì chúng có nguồn gốc từ cùng một nguồn và nên được coi là tương tự nhau. Các kỹ thuật tăng cường dữ liệu phổ biến bao gồm cắt ngẫu nhiên, làm nhiễu màu, xoay hoặc thêm nhiễu.
2. Lấy mẫu âm tính: Chọn các điểm dữ liệu khác từ tập dữ liệu (hoặc lô hiện tại) khác với điểm dữ liệu gốc. Chúng tạo thành "cặp âm tính" với các phép tăng cường của điểm dữ liệu gốc.
3. Mã hóa: Truyền cả mẫu dương và mẫu âm qua mạng nơ-ron mã hóa (NN) , thường là Mạng nơ-ron tích chập (CNN) cho hình ảnh hoặc Bộ chuyển đổi cho văn bản hoặc hình ảnh ( ViT ). Mạng này chuyển đổi dữ liệu đầu vào thành các biểu diễn có chiều thấp hơn, được gọi là nhúng .
4. Tính toán mất mát: Áp dụng hàm mất mát tương phản, chẳng hạn như InfoNCE (Ước tính tương phản nhiễu) hoặc Triplet Loss. Hàm này tính toán điểm dựa trên khoảng cách giữa các nhúng. Nó khuyến khích nhúng các cặp tích cực gần nhau (khoảng cách thấp/độ tương đồng cao) và nhúng các cặp tiêu cực xa nhau (khoảng cách cao/độ tương đồng thấp).
5. Tối ưu hóa: Sử dụng các thuật toán tối ưu hóa như Stochastic Gradient Descent (SGD) hoặc Adam để cập nhật trọng số của bộ mã hóa dựa trên mức mất mát được tính toán, cải thiện chất lượng của các biểu diễn đã học thông qua truyền ngược .

Học tập đối chiếu so với các thuật ngữ liên quan

Học tập tương phản khác với các mô hình ML khác:

• Học có giám sát : Yêu cầu nhãn rõ ràng cho từng điểm dữ liệu (ví dụ: 'mèo', 'chó'). Học tương phản chủ yếu sử dụng dữ liệu không có nhãn, tạo ra tín hiệu giám sát riêng thông qua ghép nối tích cực/tiêu cực.
• Học không giám sát (Phân cụm) : Các phương pháp như K-Means nhóm dữ liệu dựa trên các cấu trúc vốn có. Học tương phản đào tạo rõ ràng một mô hình để tạo không gian biểu diễn trong đó sự tương đồng được xác định bởi các cặp tích cực/tiêu cực, tập trung vào việc học các tính năng phân biệt.
• Mô hình sinh : Các mô hình như GAN hoặc Mô hình khuếch tán học cách tạo dữ liệu mới giống với dữ liệu đào tạo. Học tương phản tập trung vào việc học các biểu diễn phân biệt hơn là tạo dữ liệu.

Ứng dụng trong thế giới thực

Học tập tương phản rất hiệu quả trong việc học các biểu diễn có thể chuyển đổi tốt sang các nhiệm vụ khác:

• Tiền đào tạo về thị giác máy tính: Các mô hình như SimCLR và MoCo được đào tạo trước trên các tập dữ liệu hình ảnh lớn không có nhãn (như ImageNet ). Các tính năng đã học được sẽ tăng đáng kể hiệu suất khi mô hình được tinh chỉnh cho các tác vụ như phân loại hình ảnh , phát hiện đối tượng bằng các mô hình như Ultralytics YOLO11 hoặc phân đoạn ngữ nghĩa . Ví dụ, một mô hình được đào tạo trước bằng phương pháp học tương phản trên các hình ảnh chung có thể được tinh chỉnh hiệu quả cho các tác vụ chuyên biệt như phân tích hình ảnh y tế hoặc phân tích hình ảnh vệ tinh với dữ liệu ít được gắn nhãn hơn.
• Xử lý ngôn ngữ tự nhiên (NLP): Được sử dụng để học các câu hoặc nhúng tài liệu chất lượng cao. Ví dụ, các mô hình có thể được đào tạo để nhận ra rằng hai câu có cách diễn đạt khác nhau mô tả cùng một khái niệm (cặp tích cực) phải có các nhúng tương tự, trong khi các câu có ý nghĩa không liên quan (cặp tiêu cực) phải có các nhúng khác nhau. Điều này hữu ích cho tìm kiếm ngữ nghĩa , trả lời câu hỏi và phân cụm văn bản. Mô hình CLIP đặc biệt sử dụng học tương phản để kết nối các biểu diễn văn bản và hình ảnh.
• Hệ thống đề xuất : Học nhúng cho người dùng và mục dựa trên các mẫu tương tác.
• Phát hiện bất thường : Xác định các điểm dữ liệu bất thường bằng cách học các biểu diễn trong đó dữ liệu bình thường tập trung chặt chẽ, giúp phát hiện các điểm ngoại lệ dễ dàng hơn.

Lợi ích và thách thức

Những lợi ích:

• Giảm sự phụ thuộc vào nhãn: Tận dụng lượng lớn dữ liệu chưa được gắn nhãn, giảm nhu cầu gắn nhãn dữ liệu tốn kém và mất thời gian.
• Biểu diễn mạnh mẽ: Thường học các tính năng ít thay đổi hơn so với các phương pháp chỉ có giám sát.
• Đào tạo trước hiệu quả: Cung cấp điểm khởi đầu tuyệt vời để tinh chỉnh các tác vụ hạ nguồn cụ thể, thường dẫn đến hiệu suất tốt hơn, đặc biệt là với dữ liệu được gắn nhãn hạn chế ( học ít lần ).

Thách thức:

• Lựa chọn mẫu âm tính: Hiệu suất có thể nhạy cảm với số lượng và chất lượng của các mẫu âm tính. Việc lựa chọn các mẫu âm tính có thông tin là rất quan trọng nhưng đầy thách thức.
• Chiến lược tăng cường: Việc lựa chọn các kỹ thuật tăng cường dữ liệu ảnh hưởng rất lớn đến những bất biến mà mô hình học được.
• Chi phí tính toán: Thường yêu cầu kích thước lô lớn và tài nguyên tính toán đáng kể ( GPU ) để đào tạo hiệu quả, mặc dù nghiên cứu đang được tiến hành để giảm thiểu điều này. Các nền tảng như Ultralytics HUB có thể tạo điều kiện quản lý và đào tạo các mô hình này. Các khuôn khổ như PyTorch ( trang web chính thức ) và TensorFlow ( trang web chính thức ) cung cấp các công cụ để triển khai các phương pháp học tương phản.