Độ chính xác hỗn hợp

Độ chính xác hỗn hợp là một kỹ thuật then chốt trong tối ưu hóa mô hình , được sử dụng để tăng tốc quá trình huấn luyện các mô hình học sâu đồng thời giảm mức tiêu thụ bộ nhớ. Bằng cách kết hợp chiến lược các định dạng số khác nhau—thường là các kiểu số thực dấu phẩy động 16 bit và 32 bit—phương pháp này cho phép các thuật toán học máy thực hiện các phép tính nhanh hơn mà không làm giảm độ chính xác cuối cùng của mô hình. Nó đã trở thành một phương pháp tiêu chuẩn trong phát triển AI hiện đại, đặc biệt là đối với các tác vụ đòi hỏi nhiều tài nguyên như huấn luyện kiến ​​trúc YOLO26 trên các tập dữ liệu khổng lồ.

Độ chính xác hỗn hợp hoạt động như thế nào

Trong các quy trình học sâu truyền thống, các mô hình thường thực hiện phép tính bằng định dạng dấu phẩy động độ chính xác đơn (FP32). Mỗi số trong FP32 yêu cầu 32 bit bộ nhớ. Mặc dù có độ chính xác cao, định dạng này có thể tốn kém về mặt tính toán và tiêu tốn nhiều bộ nhớ.

Độ chính xác hỗn hợp giới thiệu việc sử dụng độ chính xác một nửa (FP16), chỉ sử dụng 16 bit. Tuy nhiên, việc chỉ sử dụng FP16 có thể dẫn đến sự không ổn định về mặt số học do phạm vi động nhỏ hơn. Để giải quyết vấn đề này, các phương pháp độ chính xác hỗn hợp duy trì một "bản sao chính" của trọng số mô hình ở định dạng FP32 để đảm bảo tính ổn định trong khi sử dụng FP16 cho các phép toán phức tạp, chẳng hạn như phép chập và phép nhân ma trận.

Quy trình này thường bao gồm ba bước chính:

1. Ép kiểu dữ liệu: Chuyển đổi các đầu vào và giá trị kích hoạt của mô hình sang định dạng FP16 để tăng tốc độ thực thi trên phần cứng tương thích, chẳng hạn như NVIDIA Tensor Cores .
2. Điều chỉnh tỷ lệ mất mát: Khuếch đại giá trị hàm mất mát để ngăn chặn hiện tượng "tràn dưới", trong đó các cập nhật độ dốc nhỏ trở thành số không trong FP16.
3. Tích lũy: Thực hiện các phép toán số học trong FP16 nhưng tích lũy kết quả trong FP32 để bảo toàn thông tin cần thiết trước khi cập nhật trọng số chính.

Lợi ích trong đào tạo AI

Việc áp dụng độ chính xác hỗn hợp mang lại những lợi thế đáng kể cho các nhà phát triển và nhà nghiên cứu khi sử dụng tài nguyên tính toán một cách hiệu quả:

• Tốc độ huấn luyện nhanh hơn: Các phép toán trong FP16 yêu cầu băng thông bộ nhớ ít hơn và được xử lý nhanh hơn bởi các GPU hiện đại. Điều này có thể giảm đáng kể thời gian cần thiết cho một epoch .
• Giảm mức sử dụng bộ nhớ: Vì tensor FP16 chỉ chiếm một nửa bộ nhớ so với FP32, nên về cơ bản các nhà phát triển có thể tăng gấp đôi kích thước batch . Kích thước batch lớn hơn thường dẫn đến ước tính gradient ổn định hơn và hội tụ nhanh hơn.
• Hiệu quả năng lượng: Giảm tải tính toán đồng nghĩa với việc giảm tiêu thụ năng lượng, điều này rất quan trọng đối với các hoạt động đào tạo trên nền tảng đám mây quy mô lớn.

Các Ứng dụng Thực tế

Phương pháp tính toán độ chính xác hỗn hợp được sử dụng rộng rãi trong nhiều ngành công nghiệp để xử lý hiệu quả các mô hình phức tạp và tập dữ liệu lớn.

Lái xe tự động

Trong quá trình phát triển xe tự hành , các kỹ sư phải huấn luyện các mô hình phát hiện vật thể trên hàng triệu khung hình video độ phân giải cao. Việc sử dụng độ chính xác hỗn hợp cho phép họ huấn luyện các mô hình tiên tiến như YOLO26 một cách hiệu quả. Dung lượng bộ nhớ được giảm thiểu cho phép xử lý đầu vào có độ phân giải cao hơn, điều này rất quan trọng để phát hiện các vật thể nhỏ như biển báo giao thông hoặc người đi bộ từ xa.

Phân tích ảnh y tế

Phân tích hình ảnh y tế thường liên quan đến dữ liệu thể tích 3D từ ảnh chụp MRI hoặc CT, vốn tiêu tốn rất nhiều bộ nhớ. Việc huấn luyện các mô hình phân đoạn trên dữ liệu này với độ chính xác FP32 đầy đủ thường dẫn đến lỗi "Hết bộ nhớ" (OOM). Độ chính xác hỗn hợp cho phép các nhà nghiên cứu tích hợp các mô hình nặng nề này vào... GPU bộ nhớ, tạo điều kiện thuận lợi cho việc phát triển trí tuệ nhân tạo có thể hỗ trợ các bác sĩ chẩn đoán bệnh sớm hơn.

Triển khai Độ chính xác hỗn hợp với Ultralytics

Các khuôn khổ hiện đại như PyTorch Thông thường, các vấn đề phức tạp của độ chính xác hỗn hợp được xử lý tự động thông qua một tính năng gọi là Độ chính xác hỗn hợp tự động (AMP). ultralytics Gói này cho phép AMP hoạt động mặc định trong quá trình huấn luyện để đảm bảo hiệu suất tối ưu.

Dưới đây là một ví dụ ngắn gọn về cách bắt đầu huấn luyện với YOLO26, trong đó chế độ độ chính xác hỗn hợp được kích hoạt theo mặc định (có thể điều khiển thông qua...). amp lý lẽ):

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset
# amp=True is the default setting for mixed precision training
results = model.train(data="coco8.yaml", epochs=5, imgsz=640, amp=True)

Độ chính xác hỗn hợp so với các khái niệm liên quan

Việc phân biệt giữa độ chính xác hỗn hợp và các thuật ngữ tương tự trong bảng thuật ngữ sẽ giúp tránh nhầm lẫn:

• Lượng tử hóa mô hình : Trong khi phương pháp độ chính xác hỗn hợp sử dụng số thực dấu phẩy động có độ chính xác thấp hơn (FP16) trong quá trình huấn luyện , lượng tử hóa thường chuyển đổi trọng số thành số nguyên (như INT8) sau khi huấn luyện để triển khai. Lượng tử hóa chủ yếu tập trung vào độ trễ suy luận trên các thiết bị biên, trong khi độ chính xác hỗn hợp tập trung vào tốc độ và tính ổn định của quá trình huấn luyện.
• Độ chính xác một nửa : Điều này đề cập cụ thể đến định dạng dữ liệu FP16. Độ chính xác hỗn hợp là kỹ thuật sử dụng cả FP16 và FP32 cùng nhau. Việc sử dụng độ chính xác một nửa thuần túy mà không có bản sao chính FP32 "hỗn hợp" thường dẫn đến các mô hình không hội tụ do lỗi số học.

Kết luận

Phương pháp tính toán độ chính xác hỗn hợp đã cách mạng hóa cách huấn luyện mạng nơ-ron , đóng vai trò là yếu tố then chốt cho các mô hình nền tảng và hệ thống thị giác khổng lồ mà chúng ta thấy ngày nay. Bằng cách cân bằng nhu cầu về độ chính xác toán học với các hạn chế về tốc độ phần cứng và bộ nhớ, nó cho phép các nhà phát triển lặp lại nhanh hơn và xây dựng các giải pháp AI có khả năng hơn.

Đối với những ai muốn quản lý tập dữ liệu và huấn luyện các mô hình tối ưu một cách liền mạch, Nền tảng Ultralytics cung cấp một môi trường toàn diện tự động tận dụng các kỹ thuật tối ưu hóa hiện đại này.