Tinh chỉnh

Cách thức hoạt động của tinh chỉnh

Quá trình bắt đầu với một mô hình có trọng số đã được tối ưu hóa trên một tập dữ liệu rộng như ImageNet cho thị giác hoặc một kho ngữ liệu văn bản đồ sộ cho Mô hình Ngôn ngữ Lớn (LLM) . Mô hình được đào tạo trước này đã hiểu các đặc điểm chung—chẳng hạn như các cạnh và kết cấu trong hình ảnh hoặc ngữ pháp và ngữ nghĩa trong văn bản. Sau đó, quá trình tinh chỉnh tiếp tục, thường sử dụng tốc độ học thấp hơn, trên một tập dữ liệu tùy chỉnh được thiết kế riêng cho ứng dụng mục tiêu. Quá trình này điều chỉnh các tham số của mô hình để trở nên chuyên biệt cho các sắc thái cụ thể của tác vụ mới. Các nền tảng như PyTorch và TensorFlow cung cấp các công cụ mở rộng để triển khai quy trình tinh chỉnh.

Ứng dụng trong thế giới thực

Tinh chỉnh được sử dụng rộng rãi trong thị giác máy tính (CV) và Xử lý ngôn ngữ tự nhiên (NLP) .

• Phân tích hình ảnh y tế : Một mô hình như Ultralytics YOLO11 , được đào tạo trước để phát hiện vật thể chung trên tập dữ liệu COCO , có thể được tinh chỉnh trên một bộ sưu tập ảnh chụp MRI chuyên biệt để phát hiện khối u chính xác. Việc tùy chỉnh này rất quan trọng để xây dựng các giải pháp AI đáng tin cậy trong chăm sóc sức khỏe .
• Chatbot tùy chỉnh: Một doanh nghiệp có thể tinh chỉnh một LLM mạnh mẽ như BERT trên tài liệu nội bộ và nhật ký hỗ trợ khách hàng. Mô hình kết quả trở thành chuyên gia về sản phẩm của công ty, cho phép tạo ra một chatbot hiệu quả cao và nhận biết ngữ cảnh cho trang web của mình. Nhiều mô hình như vậy có sẵn trên các nền tảng như Hugging Face .

Tinh chỉnh so với các khái niệm liên quan

Điều quan trọng là phải phân biệt tinh chỉnh với các kỹ thuật điều chỉnh mô hình khác:

• Huấn luyện từ đầu: Điều này bao gồm việc khởi tạo một mạng nơ-ron với các trọng số ngẫu nhiên và huấn luyện nó trên một tập dữ liệu. Phương pháp này đòi hỏi một lượng lớn dữ liệu và sức mạnh tính toán (ví dụ: GPU ) và thường kém hiệu quả hơn so với việc tinh chỉnh một mô hình đã được huấn luyện trước.
• Tinh chỉnh Hiệu quả Tham số (PEFT) : PEFT là tập hợp các phương pháp thể hiện sự tiến hóa hiệu quả hơn về mặt tài nguyên của tinh chỉnh. Thay vì cập nhật tất cả các trọng số của mô hình, các kỹ thuật PEFT như LoRA đóng băng mô hình gốc và chỉ huấn luyện một số ít tham số mới. Điều này giúp giảm đáng kể yêu cầu về bộ nhớ và lưu trữ, giúp việc điều chỉnh các mô hình rất lớn từ các tổ chức như Meta AI hoặc Google trở nên dễ dàng hơn.
• Điều chỉnh Gợi ý : Một phương pháp PEFT cụ thể trong đó tất cả các trọng số mô hình gốc được giữ nguyên. Thay vì tự điều chỉnh mô hình, nó sẽ học các "gợi ý mềm" (nhúng có thể huấn luyện) đặc biệt được thêm vào đầu vào để hướng dẫn đầu ra của mô hình cho một tác vụ cụ thể.
• Tạo tăng cường truy xuất (RAG) : Kỹ thuật này cải thiện đầu ra của mô hình bằng cách cung cấp kiến thức bên ngoài tại thời điểm suy luận, thay vì thay đổi trọng số của mô hình thông qua quá trình huấn luyện. RAG truy xuất thông tin liên quan từ cơ sở dữ liệu và thêm vào lời nhắc để tạo ra phản hồi chính xác và cập nhật hơn.

Tinh chỉnh với Ultralytics

Ultralytics đơn giản hóa quy trình tinh chỉnh các mô hình YOLO tiên tiến cho các ứng dụng tùy chỉnh. Người dùng có thể dễ dàng tải các trọng số đã được đào tạo trước và bắt đầu đào tạo trên bộ dữ liệu của riêng họ cho các tác vụ như phân loại, phát hiện hoặc phân đoạn hình ảnh . Nền tảng Ultralytics HUB tiếp tục hợp lý hóa quy trình làm việc này, cung cấp giải pháp tích hợp để quản lý bộ dữ liệu, mô hình đào tạo và triển khai sau này. Để đạt được hiệu suất tốt nhất, tinh chỉnh thường được kết hợp với việc tinh chỉnh siêu tham số cẩn thận.