Điều chỉnh nhanh chóng

Cách thức hoạt động của Prompt Tuning

Trong Prompt Tuning, ý tưởng cốt lõi là giữ phần lớn các tham số của mô hình được đào tạo trước ở trạng thái đóng băng. Khi điều chỉnh mô hình cho một tác vụ như phân tích tình cảm hoặc tạo văn bản , thay vì điều chỉnh hàng tỷ weights and biases trong mô hình, chỉ một tập hợp nhỏ các tham số nhắc nhở (các nhúng nhắc nhở mềm) được đào tạo bằng cách sử dụng gradient descent . Các nhúng đã học này hoạt động như các hướng dẫn hoặc ngữ cảnh, hướng dẫn mô hình đóng băng tạo ra đầu ra mong muốn cho tác vụ cụ thể. Điều này biến nó thành một dạng tinh chỉnh hiệu quả tham số (PEFT) , làm giảm đáng kể rào cản đối với việc chuyên môn hóa các mô hình nền tảng lớn.

Lợi ích của việc điều chỉnh nhanh chóng

Prompt Tuning mang lại một số lợi thế:

• Hiệu quả tính toán: Yêu cầu ít tính toán và bộ nhớ hơn đáng kể so với tinh chỉnh hoàn toàn, vì chỉ có một phần nhỏ các tham số được cập nhật trong quá trình đào tạo .
• Giảm lưu trữ: Chỉ cần lưu trữ một tập hợp nhỏ các nhúng nhắc nhở cho mỗi tác vụ, thay vì lưu trữ toàn bộ bản sao của mô hình được tinh chỉnh.
• Thích ứng nhanh hơn: Việc đào tạo các lời nhắc cụ thể cho nhiệm vụ nhanh hơn nhiều so với việc tinh chỉnh toàn bộ mô hình.
• Giảm thiểu tình trạng quên thảm khốc: Vì các tham số mô hình ban đầu không thay đổi nên mô hình vẫn giữ nguyên các khả năng chung đã học được trong quá trình đào tạo trước, tránh được vấn đề tinh chỉnh một tác vụ làm giảm hiệu suất của các tác vụ khác ( nhiễu thảm khốc ).
• Triển khai đơn giản: Có thể sử dụng nhiều lời nhắc cụ thể cho từng tác vụ với một mô hình lõi dùng chung, giúp đơn giản hóa việc triển khai và quản lý mô hình trong các quy trình MLOps .

Ứng dụng trong thế giới thực

Prompt Tuning đặc biệt hiệu quả khi tùy chỉnh các mô hình ngôn ngữ lớn cho các ứng dụng chuyên biệt:

1. Chatbot dịch vụ khách hàng tùy chỉnh: Một công ty có thể sử dụng LLM được đào tạo trước chung như GPT-4 và sử dụng Prompt Tuning để tạo lời nhắc chuyên biệt cho các lĩnh vực hỗ trợ khác nhau (ví dụ: thanh toán, hỗ trợ kỹ thuật, yêu cầu về sản phẩm). Mỗi lời nhắc hướng dẫn mô hình cơ sở phản hồi phù hợp trong bối cảnh cụ thể đó, sử dụng ngôn ngữ và kiến thức cụ thể của công ty, mà không cần các mô hình tinh chỉnh riêng biệt. Điều này cho phép mở rộng hiệu quả các khả năng của chatbot .
2. Tạo nội dung chuyên biệt: Một công ty tiếp thị có thể sử dụng Prompt Tuning để điều chỉnh mô hình tạo văn bản lớn nhằm tạo nội dung theo giọng điệu hoặc phong cách thương hiệu cụ thể (ví dụ: báo cáo chính thức, bài đăng trên blog thông thường, bản sao quảng cáo hấp dẫn). Các lời nhắc riêng biệt được đào tạo cho từng phong cách, cho phép cùng một mô hình cơ sở mạnh mẽ từ các tổ chức như OpenAI hoặc Google AI trở nên linh hoạt với các nhu cầu khác nhau của khách hàng.

Điều chỉnh nhanh so với các khái niệm liên quan

Điều quan trọng là phải phân biệt Prompt Tuning với các kỹ thuật tương tự:

• Tinh chỉnh : Bao gồm việc cập nhật một phần lớn hoặc thậm chí là toàn bộ các tham số của mô hình được đào tạo trước trên một tập dữ liệu mới. Nó đòi hỏi nhiều tính toán hơn nhưng đôi khi có thể đạt được hiệu suất cao hơn bằng cách điều chỉnh sâu các biểu diễn bên trong của mô hình. Các mẹo đào tạo mô hình thường đề cập đến các khía cạnh của tinh chỉnh.
• Kỹ thuật nhắc nhở : Tập trung vào việc thiết kế thủ công các nhắc nhở dựa trên văn bản hiệu quả (gợi ý cứng) để gợi ra hành vi mong muốn từ một mô hình được đào tạo trước đã đóng băng . Nó bao gồm việc tạo ra các hướng dẫn và ví dụ trong chính văn bản đầu vào và không liên quan đến việc đào tạo bất kỳ tham số mới nào. Các kỹ thuật như nhắc nhở chuỗi suy nghĩ nằm trong danh mục này.
• Làm giàu lời nhắc : Tự động tăng cường lời nhắc nhập của người dùng bằng cách thêm ngữ cảnh hoặc thông tin có liên quan (ví dụ: sử dụng Retrieval-Augmented Generation (RAG) ) trước khi được mô hình AI xử lý. Không giống như điều chỉnh lời nhắc, nó không sửa đổi mô hình hoặc đào tạo các tham số; nó tinh chỉnh truy vấn đầu vào.
• LoRA (Low-Rank Adaptation) : Một kỹ thuật PEFT khác đưa các ma trận low-rank nhỏ, có thể đào tạo vào các lớp hiện có (như cơ chế chú ý ) của mô hình được đào tạo trước. Nó cập nhật các phần khác nhau của mô hình so với Prompt Tuning, chỉ tập trung vào nhúng đầu vào. Cả hai thường được tìm thấy trong các thư viện như thư viện Hugging Face PEFT .

Trong khi Prompt Tuning chủ yếu được áp dụng cho LLM trong Xử lý ngôn ngữ tự nhiên (NLP) , nguyên tắc cốt lõi của việc thích ứng hiệu quả có liên quan đến Trí tuệ nhân tạo (AI) . Trong Thị giác máy tính (CV) , trong khi việc tinh chỉnh hoàn toàn các mô hình như Ultralytics YOLO trên các tập dữ liệu tùy chỉnh là phổ biến đối với các tác vụ như phát hiện đối tượng , các phương pháp PEFT đang ngày càng được ưa chuộng, đặc biệt là đối với các mô hình đa phương thức lớn. Các nền tảng như Ultralytics HUB hợp lý hóa quy trình đào tạo và triển khai nhiều mô hình AI khác nhau, có khả năng kết hợp các kỹ thuật hiệu quả như vậy trong tương lai.

Tóm lại, Prompt Tuning cung cấp một phương pháp mạnh mẽ và hiệu quả để chuyên biệt hóa các mô hình được đào tạo trước lớn như LLM cho các tác vụ đa dạng, cân bằng hiệu suất với khả năng tính toán. Nó đại diện cho một tiến bộ quan trọng trong việc làm cho các mô hình AI mạnh mẽ dễ thích ứng và dễ tiếp cận hơn.