Đào tạo phân tán

Đào tạo phân tán hoạt động như thế nào

Ý tưởng cốt lõi đằng sau đào tạo phân tán là tính song song. Thay vì xử lý dữ liệu và tính toán cập nhật mô hình tuần tự trên một bộ xử lý, nhiệm vụ được chia nhỏ và thực hiện đồng thời trên nhiều bộ xử lý (thường được gọi là "công nhân"). Có hai chiến lược chính:

• Song song dữ liệu : Cách tiếp cận phổ biến nhất. Tập dữ liệu được chia thành các phần nhỏ hơn và mỗi công nhân đào tạo trên phần riêng của mình bằng cách sử dụng một bản sao của mô hình. Các kết quả (gradient) sau đó được kết hợp để cập nhật mô hình trung tâm. Điều này hoạt động tốt khi mô hình phù hợp với một công nhân duy nhất nhưng tập dữ liệu rất lớn. Các khuôn khổ như PyTorch cung cấp Song song dữ liệu phân tán .
• Song song mô hình : Được sử dụng khi bản thân mô hình quá lớn để phù hợp với bộ nhớ của một công nhân duy nhất. Các phần khác nhau của mô hình được đặt trên các công nhân khác nhau và dữ liệu chảy giữa chúng trong quá trình đào tạo. Điều này phức tạp hơn để triển khai so với song song dữ liệu. Tìm hiểu thêm về các phương pháp tiếp cận song song mô hình của TensorFlow .

Ứng dụng thực tế của đào tạo phân tán

Đào tạo phân tán là điều cần thiết để giải quyết các vấn đề AI quy mô lớn trên nhiều lĩnh vực khác nhau:

• Đào tạo các mô hình ngôn ngữ lớn (LLM) : Các mô hình như GPT-4 có hàng tỷ tham số và được đào tạo trên các tập dữ liệu văn bản lớn. Đào tạo phân tán trên hàng nghìn GPU giúp điều này khả thi. Các mô hình như vậy cung cấp năng lượng cho các ứng dụng từ dịch máy đến chatbot nâng cao.
• Mô hình thị giác máy tính tiên tiến : Việc đào tạo các mô hình tiên tiến cho các nhiệm vụ như phân đoạn hình ảnh có độ phân giải cao, phân tích hình ảnh y tế chi tiết hoặc hệ thống nhận thức cho xe tự hành thường yêu cầu đào tạo phân tán để xử lý các kiến trúc phức tạp và bộ dữ liệu hình ảnh lớn như ImageNet .

Các trường hợp sử dụng ví dụ

• Đào tạo các mô hình Ultralytics YOLO : Đào tạo phân tán có thể rút ngắn đáng kể thời gian cần thiết để đào tạo các mô hình Ultralytics YOLO , đặc biệt là trên các tập dữ liệu tùy chỉnh lớn để phát hiện đối tượng . Bằng cách sử dụng nhiều GPU, người dùng đạt được sự hội tụ nhanh hơn và có khả năng đạt được độ chính xác của mô hình tốt hơn.
• Đào tạo mô hình dựa trên đám mây : Các nền tảng như Ultralytics HUB cung cấp một cách dễ tiếp cận để tận dụng các tài nguyên đào tạo phân tán trên đám mây. Điều này cho phép người dùng không có phần cứng cục bộ mạnh mẽ đào tạo các mô hình lớn một cách hiệu quả bằng cách sử dụng cơ sở hạ tầng được quản lý từ các nhà cung cấp như AWS , Google Cloud hoặc Azure .

Đào tạo phân tán so với các phương pháp đào tạo khác

Sẽ rất hữu ích khi phân biệt đào tạo phân tán với các khái niệm liên quan:

• Đào tạo tập trung : Phương pháp truyền thống trong đó toàn bộ quá trình đào tạo diễn ra trên một máy hoặc thiết bị duy nhất. Phương pháp này đơn giản hơn nhưng thường quá chậm đối với các tác vụ quy mô lớn hiện đại.
• Học liên bang : Một cách tiếp cận phân tán khác chủ yếu tập trung vào quyền riêng tư dữ liệu . Trong Học liên bang , các mô hình được đào tạo cục bộ trên các thiết bị phi tập trung (như điện thoại di động) bằng cách sử dụng dữ liệu cục bộ. Chỉ có các bản cập nhật mô hình, không phải dữ liệu thô, được gửi đến máy chủ trung tâm để tổng hợp. Điều này trái ngược với đào tạo phân tán thông thường, trong đó dữ liệu thường được đặt ở vị trí trung tâm hoặc được phân phối giữa các công nhân dưới sự kiểm soát tập trung.

Đào tạo phân tán là một kỹ thuật cơ bản để mở rộng ranh giới của quy mô và khả năng của mô hình AI. Các công cụ và thư viện trong các khuôn khổ như PyTorch , TensorFlow và các thư viện chuyên biệt như Horovod giúp đơn giản hóa việc triển khai, giúp đào tạo mô hình quy mô lớn dễ tiếp cận hơn.