Kỷ nguyên

Cách thức hoạt động của Epochs

Trong quá trình đào tạo mô hình, tập dữ liệu thường quá lớn để có thể xử lý tất cả cùng một lúc do hạn chế về bộ nhớ. Do đó, nó được chia thành các phần nhỏ hơn gọi là lô. Mô hình xử lý từng lô một, tính toán lỗi (mất mát) và cập nhật trọng số của nó bằng thuật toán tối ưu hóa như gradient descent . Một kỷ nguyên chỉ được hoàn thành sau khi mô hình đã xử lý tất cả các lô bao phủ toàn bộ tập dữ liệu đào tạo. Lặp lại quá trình này qua nhiều kỷ nguyên cho phép mô hình học các mẫu và mối quan hệ phức tạp trong dữ liệu hiệu quả hơn.

Kỷ nguyên so với Lặp lại so với Kích thước lô

Điều quan trọng là phải phân biệt thời đại với các thuật ngữ liên quan:

• Kỷ nguyên: Một chu kỳ đầy đủ thông qua toàn bộ tập dữ liệu đào tạo.
• Kích thước lô : Số lượng mẫu đào tạo được xử lý trước khi trọng số của mô hình được cập nhật.
• Lặp lại: Một lần cập nhật duy nhất cho trọng số của mô hình. Lặp lại liên quan đến việc xử lý một lô dữ liệu.

Mối quan hệ này rất đơn giản: nếu tập dữ liệu đào tạo có 10.000 mẫu và quy mô lô là 100, thì một kỷ nguyên bao gồm 100 lần lặp (10.000 mẫu / 100 mẫu trên mỗi lô).

Tầm quan trọng của các thời kỳ trong đào tạo

Việc đào tạo một mô hình cho nhiều kỷ nguyên là rất quan trọng đối với sự hội tụ, nghĩa là mô hình đạt đến trạng thái ổn định khi hiệu suất của nó là tối ưu hoặc gần tối ưu. Mỗi kỷ nguyên cung cấp cho mô hình một cơ hội khác để học từ các mẫu dữ liệu. Tuy nhiên, số kỷ nguyên là một siêu tham số quan trọng.

• Quá ít kỷ nguyên: Mô hình có thể không học đủ, dẫn đến tình trạng thiếu khớp , tức là mô hình hoạt động kém ngay cả trên dữ liệu đào tạo.
• Quá nhiều kỷ nguyên: Mô hình có thể học dữ liệu đào tạo quá tốt, bao gồm nhiễu và các chi tiết cụ thể, dẫn đến quá khớp . Một mô hình quá khớp hoạt động tốt trên dữ liệu đào tạo nhưng kém trên dữ liệu không nhìn thấy ( dữ liệu xác thực hoặc ví dụ thực tế).

Việc theo dõi số liệu hiệu suất trên một tập xác thực riêng biệt trong quá trình đào tạo giúp xác định số kỷ nguyên tối ưu, thường sử dụng các kỹ thuật như dừng sớm để dừng đào tạo khi hiệu suất xác thực ngừng cải thiện.

Ví dụ thực tế

1. Phát hiện đối tượng với Ultralytics YOLO : Khi đào tạo mô hình Ultralytics YOLO , như YOLOv8 hoặc YOLO11 , trên một tập dữ liệu như COCO , bạn có thể chỉ định đào tạo cho 100 kỷ nguyên. Trong mỗi kỷ nguyên, mô hình xử lý toàn bộ tập ảnh đào tạo COCO (chia thành nhiều đợt), điều chỉnh trọng số của nó để xác định và định vị đối tượng tốt hơn. Các nền tảng như Ultralytics HUB cung cấp các công cụ để quản lý quy trình đào tạo này và theo dõi tiến trình qua các kỷ nguyên.
2. Xử lý ngôn ngữ tự nhiên (NLP) : Đào tạo một mô hình như BERT để phân tích tình cảm trên một tập dữ liệu đánh giá của khách hàng liên quan đến nhiều kỷ nguyên. Ví dụ, đào tạo trong 5 kỷ nguyên có nghĩa là mô hình sẽ đọc qua tất cả các đánh giá năm lần. Với mỗi lần truyền (kỷ nguyên), sử dụng các thư viện như Hugging Face Transformers thường thông qua các khuôn khổ như PyTorch hoặc TensorFlow , mô hình sẽ cải thiện khả năng phân loại các đánh giá thành tích cực, tiêu cực hoặc trung tính.

Epoch là nền tảng của học tập lặp đi lặp lại trong ML, cân bằng nhu cầu tiếp xúc đủ với dữ liệu với rủi ro của việc quá khớp. Việc chọn đúng số epoch, thường thông qua thử nghiệm và giám sát cẩn thận, là chìa khóa để xây dựng các mô hình hiệu quả. Bạn có thể tìm thêm định nghĩa trong các tài nguyên như Google Machine Learning Glossary .