Trong học máy (ML) , đặc biệt là trong bối cảnh đào tạo các mô hình học sâu , một kỷ nguyên biểu thị một lần hoàn thành toàn bộ tập dữ liệu đào tạo thông qua thuật toán học. Các mô hình đào tạo là một quá trình lặp đi lặp lại trong đó mô hình học các mẫu bằng cách xử lý dữ liệu nhiều lần. Kỷ nguyên là một siêu tham số cơ bản xác định số lần thuật toán sẽ hoạt động thông qua toàn bộ tập dữ liệu, cho phép mô hình học từ mỗi ví dụ trong dữ liệu nhiều lần.
Giải thích về Kỷ nguyên
Trong quá trình đào tạo , các tham số bên trong hoặc trọng số của mô hình được điều chỉnh dựa trên các lỗi mà nó mắc phải trong các dự đoán của mình. Việc điều chỉnh này thường diễn ra bằng cách sử dụng thuật toán tối ưu hóa như Gradient Descent hoặc các biến thể của nó (ví dụ: Adam Optimizer ). Một kỷ nguyên có nghĩa là mọi mẫu trong tập dữ liệu đào tạo đều có cơ hội cập nhật các tham số bên trong của mô hình một lần. Đối với các tập dữ liệu lớn, việc xử lý toàn bộ tập dữ liệu cùng một lúc rất tốn kém về mặt tính toán, do đó, dữ liệu thường được chia thành các phần nhỏ hơn được gọi là lô.
Kỷ nguyên so với Lặp lại so với Kích thước lô
Điều quan trọng là phải phân biệt thời đại với các thuật ngữ liên quan:
- Kích thước lô : Xác định số lượng mẫu được xử lý trước khi trọng số của mô hình được cập nhật.
- Lặp lại: Điều này đề cập đến số lượng lô cần thiết để hoàn thành một kỷ nguyên. Nếu một tập dữ liệu có 1000 mẫu và kích thước lô là 100, thì một kỷ nguyên cần 10 lần lặp lại (1000 mẫu / 100 mẫu trên mỗi lô = 10 lô/lần lặp lại). Mỗi lần lặp lại bao gồm xử lý một lô và cập nhật trọng số của mô hình.
- Epoch: Một chu kỳ đầy đủ qua toàn bộ tập dữ liệu đào tạo. Trong ví dụ trên, hoàn thành 10 lần lặp lại cấu thành một epoch.
Hãy nghĩ về việc đọc một cuốn sách: toàn bộ cuốn sách là tập dữ liệu, mỗi chương là một đợt, đọc một chương là một lần lặp lại và đọc toàn bộ cuốn sách từ đầu đến cuối là một kỷ nguyên.
Tại sao thời đại lại quan trọng
Số kỷ nguyên là một siêu tham số quan trọng vì nó quyết định số lần mô hình học được từ toàn bộ tập dữ liệu.
- Quá ít kỷ nguyên: Nếu một mô hình được đào tạo trong quá ít kỷ nguyên, nó có thể không tiếp xúc đủ với dữ liệu để học các mẫu cơ bản một cách hiệu quả. Điều này dẫn đến tình trạng không khớp , khi mô hình hoạt động kém trên cả dữ liệu đào tạo và dữ liệu thử nghiệm chưa biết.
- Quá nhiều kỷ nguyên: Ngược lại, đào tạo quá nhiều kỷ nguyên có thể dẫn đến quá khớp . Trong trường hợp này, mô hình học dữ liệu đào tạo quá tốt, bao gồm nhiễu và các chi tiết cụ thể, mất khả năng khái quát hóa thành dữ liệu mới, chưa từng thấy. Mô hình có thể cho thấy độ chính xác tuyệt vời trên tập đào tạo nhưng hoạt động kém trên dữ liệu xác thực hoặc dữ liệu thử nghiệm .
Tìm được sự cân bằng phù hợp là chìa khóa để đạt được hiệu suất và khái quát hóa mô hình tốt. Điều này thường liên quan đến việc theo dõi hiệu suất của mô hình trên một tập dữ liệu xác thực riêng biệt trong quá trình đào tạo.
Xác định số lượng kỷ nguyên
Không có số kỷ nguyên "chính xác" duy nhất; giá trị tối ưu phụ thuộc vào độ phức tạp của dữ liệu, kích thước của tập dữ liệu, kiến trúc mô hình và tốc độ học . Các cách tiếp cận phổ biến bao gồm:
- Thử nghiệm: Thử nhiều thời đại khác nhau và đánh giá hiệu suất.
- Giám sát số liệu xác thực: Theo dõi số liệu như mất mát và độ chính xác trên một tập hợp xác thực. Đào tạo thường bị dừng lại khi các số liệu này ngừng cải thiện hoặc bắt đầu suy giảm, một kỹ thuật được gọi là Dừng sớm .
- Điều chỉnh siêu tham số : Tìm kiếm có hệ thống các siêu tham số tốt nhất, bao gồm số lượng kỷ nguyên, thường sử dụng các công cụ hoặc kỹ thuật tự động như những công cụ hoặc kỹ thuật có trong Hướng dẫn điều chỉnh siêu tham số Ultralytics .
Ví dụ thực tế
- Phát hiện đối tượng : Khi đào tạo mô hình Ultralytics YOLO , chẳng hạn như YOLOv8 hoặc YOLO11 , trên một tập dữ liệu lớn như COCO , mô hình có thể được đào tạo cho một số kỷ nguyên cụ thể, chẳng hạn như 100 hoặc 300. Trong mỗi kỷ nguyên, mô hình xử lý tất cả các hình ảnh trong tập đào tạo COCO, điều chỉnh trọng số của nó để dự đoán tốt hơn các hộp giới hạn và nhãn lớp cho các đối tượng. Các nền tảng như Ultralytics HUB cho phép người dùng dễ dàng quản lý quy trình đào tạo này và theo dõi hiệu suất trên các kỷ nguyên.
- Xử lý ngôn ngữ tự nhiên (NLP) : Đào tạo một mô hình ngôn ngữ lớn như BERT cho một nhiệm vụ như phân tích tình cảm liên quan đến việc cung cấp một lượng lớn dữ liệu văn bản thông qua mô hình. Đào tạo có thể diễn ra trong một số lượng nhỏ hơn các kỷ nguyên (ví dụ: 3-10) do kích thước tuyệt đối của các tập dữ liệu và mô hình. Mỗi kỷ nguyên đảm bảo mô hình nhìn thấy toàn bộ ngữ liệu văn bản một lần, tinh chỉnh sự hiểu biết của nó về các sắc thái ngôn ngữ có liên quan đến tình cảm. Các khuôn khổ như Hugging Face Transformers thường chỉ định số lượng kỷ nguyên mặc định để tinh chỉnh .
Công cụ và Khung
Kỷ nguyên là một tham số chuẩn trong hầu hết các khuôn khổ học sâu :
- PyTorch : Các vòng lặp đào tạo trong PyTorch lặp lại rõ ràng qua các kỷ nguyên và đợt.
- TensorFlow : Các API cấp cao như Keras trong TensorFlow cho phép người dùng chỉ định số lượng kỷ nguyên trực tiếp trong
fit phương pháp. - Ultralytics HUB : Cung cấp giao diện thân thiện với người dùng để đào tạo các mô hình như YOLO , nơi người dùng có thể dễ dàng cấu hình số kỷ nguyên và theo dõi tiến trình đào tạo một cách trực quan.
Epoch là nền tảng của việc học lặp lại trong ML, cân bằng giữa nhu cầu tiếp xúc đủ với dữ liệu với rủi ro của việc quá khớp . Việc chọn đúng số lượng epoch, thường thông qua thử nghiệm và giám sát cẩn thận như đã thảo luận trong các tài nguyên như khóa học CS231n của Stanford hoặc blog Machine Learning Mastery , là chìa khóa để xây dựng các mô hình hiệu quả. Bạn có thể tìm thêm định nghĩa trong các tài nguyên như Google Machine Learning Glossary .
VI
EN
ZH
KO
JA
RU
DE
FR
ES
PT
IT
AR
TR
