Điều chỉnh hiệu quả tham số (PEFT)

Parameter-Efficient Fine-Tuning (PEFT) là một tập hợp các kỹ thuật trong máy học được thiết kế để điều chỉnh hiệu quả các mô hình được đào tạo trước cho các tác vụ hạ nguồn cụ thể, trong khi chỉ tinh chỉnh một số lượng nhỏ các tham số mô hình. Cách tiếp cận này đặc biệt phù hợp trong thời đại của các mô hình ngôn ngữ lớn (LLM) và các mô hình AI quy mô lớn khác, trong đó việc tinh chỉnh hoàn toàn có thể tốn kém về mặt tính toán và tốn nhiều tài nguyên. Các phương pháp PEFT làm giảm đáng kể chi phí tính toán và lưu trữ, giúp tùy chỉnh các mô hình lớn này cho nhiều ứng dụng hơn và triển khai chúng trên các môi trường hạn chế về tài nguyên.

Sự liên quan và ứng dụng

Ý nghĩa của Parameter-Efficient Fine-Tuning bắt nguồn từ khả năng dân chủ hóa quyền truy cập vào các mô hình mạnh mẽ, được đào tạo trước. Thay vì đào tạo một mô hình lớn từ đầu hoặc tinh chỉnh tất cả các tham số của nó cho mỗi tác vụ mới, PEFT cho phép các nhà phát triển và nhà nghiên cứu đạt được hiệu suất tương đương bằng cách chỉ điều chỉnh một phần nhỏ các tham số ban đầu. Hiệu quả này có một số lợi ích và ứng dụng chính:

• Giảm chi phí tính toán: Việc tinh chỉnh các mô hình lớn theo cách truyền thống đòi hỏi nhiều tài nguyên tính toán và thời gian. Các kỹ thuật PEFT cắt giảm đáng kể các yêu cầu này, cho phép thử nghiệm và triển khai nhanh hơn, đồng thời giúp AI dễ tiếp cận hơn với các cá nhân và tổ chức có nguồn lực hạn chế. Điều này đặc biệt có lợi khi sử dụng các nền tảng như Ultralytics HUB Cloud Training , nơi đào tạo hiệu quả trực tiếp chuyển thành tiết kiệm chi phí và chu kỳ lặp lại nhanh hơn.
• Yêu cầu lưu trữ thấp hơn: Tinh chỉnh tất cả các tham số của một mô hình lớn sẽ tạo ra nhiều bản sao có kích thước đầy đủ cho mỗi tác vụ. Các phương pháp PEFT, chỉ bằng cách sửa đổi một tập hợp con nhỏ các tham số, sẽ tạo ra các mô hình tinh chỉnh nhỏ hơn đáng kể. Điều này rất quan trọng đối với việc triển khai mô hình trên các thiết bị biên hoặc trong các tình huống có giới hạn lưu trữ.
• Ngăn ngừa quá khớp: Khi tinh chỉnh các mô hình lớn trên các tập dữ liệu nhỏ, có nguy cơ quá khớp, khi mô hình học cách hoạt động tốt trên dữ liệu đào tạo nhưng lại tổng quát hóa kém với dữ liệu mới, chưa từng thấy. Các phương pháp PEFT có thể hoạt động như một dạng chính quy hóa, vì chúng hạn chế khả năng thích ứng của mô hình, có khả năng dẫn đến tổng quát hóa tốt hơn.

Các ứng dụng thực tế của PEFT rất đa dạng và đang mở rộng nhanh chóng. Ví dụ, trong Xử lý ngôn ngữ tự nhiên (NLP) , PEFT được sử dụng để điều chỉnh các mô hình nền tảng như GPT-3 hoặc GPT-4 cho các tác vụ cụ thể như phân tích tình cảm , tóm tắt văn bản hoặc trả lời câu hỏi. Trong thị giác máy tính , PEFT có thể được áp dụng cho các mô hình hình ảnh được đào tạo trước để chuyên biệt hóa chúng cho các tác vụ như phân tích hình ảnh y tế hoặc phát hiện đối tượng trong các lĩnh vực cụ thể, chẳng hạn như phát hiện lỗi trong sản xuất hoặc xác định các loài khác nhau trong bảo tồn động vật hoang dã .

Các khái niệm chính

PEFT xây dựng dựa trên các nguyên tắc của học chuyển giao và tinh chỉnh . Học chuyển giao bao gồm việc tận dụng kiến thức thu được từ việc giải quyết một vấn đề để áp dụng vào một vấn đề khác nhưng có liên quan. Tinh chỉnh, trong bối cảnh này, là quá trình lấy một mô hình được đào tạo trước và đào tạo thêm trên một tập dữ liệu mới, cụ thể cho nhiệm vụ.

Tuy nhiên, tinh chỉnh truyền thống thường liên quan đến việc cập nhật tất cả hoặc một phần đáng kể các tham số của mô hình được đào tạo trước. PEFT tự phân biệt bằng cách giới thiệu các kỹ thuật chỉ sửa đổi một phần nhỏ các tham số này. Các kỹ thuật PEFT phổ biến bao gồm:

• Mô-đun bộ điều hợp: Thêm các lớp nhỏ mới (bộ điều hợp) vào mô hình được đào tạo trước và chỉ đào tạo các lớp bộ điều hợp này, đồng thời giữ nguyên trọng số mô hình ban đầu.
• Điều chỉnh tiền tố: Thêm tiền tố có thể đào tạo vào đầu vào của mô hình, giúp hướng dẫn hành vi của mô hình cho nhiệm vụ mới.
• Thích ứng hạng thấp (LoRA): Phân tích ma trận trọng số thành các ma trận hạng thấp và chỉ đào tạo các ma trận hạng thấp, nhỏ hơn này.

Các phương pháp này trái ngược với tinh chỉnh hoàn toàn, cập nhật tất cả các tham số mô hình và cắt tỉa mô hình , giảm kích thước mô hình bằng cách loại bỏ các kết nối ít quan trọng hơn. PEFT tập trung vào việc thích ứng hiệu quả hơn là giảm kích thước hoặc đào tạo lại hoàn toàn.

Tóm lại, Parameter-Efficient Fine-Tuning là một tiến bộ quan trọng trong việc làm cho các mô hình AI lớn trở nên thiết thực và dễ tiếp cận hơn. Bằng cách giảm đáng kể chi phí tính toán và lưu trữ trong khi vẫn duy trì hiệu suất cao, PEFT trao quyền cho cộng đồng rộng lớn hơn để tận dụng sức mạnh của AI tiên tiến cho các ứng dụng đa dạng và chuyên biệt, bao gồm cả những ứng dụng có thể đạt được với các mô hình như Ultralytics YOLO11 .