Kích thước lô

Tầm quan trọng của kích thước lô

Việc lựa chọn kích thước lô phù hợp là một siêu tham số quan trọng ảnh hưởng đáng kể đến động lực đào tạo mô hình, việc sử dụng tài nguyên và hiệu suất cuối cùng.

• Tốc độ đào tạo: Kích thước lô lớn hơn thường dẫn đến thời gian đào tạo nhanh hơn vì chúng cho phép sử dụng tốt hơn các khả năng xử lý song song có trong phần cứng như GPU . Nhiều dữ liệu hơn được xử lý trên mỗi chu kỳ tính toán.
• Sử dụng bộ nhớ: Hậu quả trực tiếp của các lô lớn hơn là mức tiêu thụ bộ nhớ tăng lên. Kích thước lô phải phù hợp với bộ nhớ phần cứng khả dụng (ví dụ: GPU VRAM). Vượt quá giới hạn này sẽ gây ra lỗi hoặc làm chậm đáng kể quá trình đào tạo. Một số nền tảng cung cấp hướng dẫn về cách tối ưu hóa việc sử dụng bộ nhớ .
• Hiệu suất mô hình và khái quát hóa: Kích thước lô nhỏ hơn đưa thêm nhiễu vào ước tính độ dốc trong quá trình đào tạo thông qua các kỹ thuật như Stochastic Gradient Descent (SGD) . Nhiễu này có thể hoạt động như một dạng chính quy hóa , có khả năng giúp mô hình tránh được các cực tiểu đột ngột trong bối cảnh mất mát và khái quát hóa tốt hơn đối với dữ liệu chưa biết, giảm nguy cơ quá khớp . Tuy nhiên, các lô rất nhỏ có thể khiến quá trình đào tạo không ổn định. Các lô lớn hơn cung cấp ước tính độ dốc chính xác hơn nhưng có thể hội tụ đến các cực tiểu ít tối ưu hơn và yêu cầu các kỹ thuật như khởi động tốc độ học để ổn định.

Chọn đúng kích thước lô

Việc lựa chọn kích thước lô tối ưu liên quan đến việc cân bằng các đánh đổi giữa hiệu quả tính toán, hạn chế bộ nhớ và khái quát hóa mô hình. Không có kích thước lô "tốt nhất" duy nhất; nó thường phụ thuộc vào tập dữ liệu cụ thể, kiến trúc mô hình và phần cứng khả dụng.

• Thử nghiệm: Thường đòi hỏi thử nghiệm thực nghiệm. Các lựa chọn phổ biến là lũy thừa của 2 (ví dụ: 16, 32, 64, 128) do tối ưu hóa căn chỉnh bộ nhớ phần cứng.
• Giới hạn phần cứng: Hạn chế chính thường là GPU bộ nhớ. Các công cụ và kỹ thuật như đào tạo độ chính xác hỗn hợp có thể giúp phù hợp với quy mô lô hiệu quả lớn hơn.
• Đặc điểm của tập dữ liệu: Kích thước và bản chất của tập dữ liệu ( ví dụ: COCO ) có thể ảnh hưởng đến sự lựa chọn.
• Kích thước lô tự động: Một số khung, như Ultralytics YOLO , cung cấp các tiện ích để tự động tìm kích thước lô lớn nhất có thể phù hợp với bộ nhớ phần cứng. Bạn có thể khám phá thêm các mẹo trong hướng dẫn của chúng tôi về Thực hành tốt nhất về Học máy và Mẹo đào tạo mô hình . Tinh chỉnh điều này là một phần của quy trình tinh chỉnh siêu tham số rộng hơn.

Kích thước lô so với các thuật ngữ liên quan khác

Điều quan trọng là phải phân biệt kích thước lô với các khái niệm liên quan:

• Lặp lại: Biểu thị một lần cập nhật duy nhất của trọng số mô hình. Trong các vòng lặp đào tạo tiêu chuẩn, một lần lặp lại tương ứng với việc xử lý một lô dữ liệu và thực hiện truyền ngược .
• Epoch : Biểu thị một lần hoàn thành qua toàn bộ tập dữ liệu đào tạo. Nếu một tập dữ liệu có 1000 mẫu và kích thước lô là 100, thì cần 10 lần lặp để hoàn thành một epoch (1000 / 100 = 10).

Ứng dụng trong thế giới thực