Mô hình nền tảng

Đặc điểm cốt lõi của mô hình nền tảng

Mô hình nền tảng được xác định bởi ba đặc điểm chính: quy mô, tính tổng quát và khả năng thích ứng.

1. Scale : Chúng được đào tạo trên các tập dữ liệu quy mô web chứa văn bản, hình ảnh, mã và các loại dữ liệu khác, thường bao gồm hàng tỷ hoặc hàng nghìn tỷ điểm dữ liệu. Chúng thường sở hữu hàng tỷ tham số, đòi hỏi tài nguyên tính toán đáng kể ( GPU ) để đào tạo.
2. Tính tổng quát : Quá trình đào tạo trước mở rộng thấm nhuần các mô hình này với sự hiểu biết rộng rãi về các mẫu, cú pháp, ngữ nghĩa và ngữ cảnh trong dữ liệu đào tạo của chúng. Điều này cho phép chúng thực hiện tốt các tác vụ mà chúng không được đào tạo rõ ràng, đôi khi thông qua học tập zero-shot hoặc học tập few-shot .
3. Khả năng thích ứng : Điểm mạnh cốt lõi của chúng nằm ở khả năng thích ứng với các tác vụ cụ thể thông qua tinh chỉnh. Điều này liên quan đến việc đào tạo bổ sung trên một tập dữ liệu nhỏ hơn, cụ thể cho tác vụ, giúp giảm đáng kể dữ liệu và thời gian cần thiết so với việc đào tạo một mô hình từ đầu. Các kiến trúc như Transformer , được biết đến với khả năng xử lý dữ liệu tuần tự và nắm bắt các phụ thuộc tầm xa, thường được sử dụng, đặc biệt là trong Xử lý ngôn ngữ tự nhiên (NLP) và ngày càng tăng trong Thị giác máy tính (CV) .

Ứng dụng và Ví dụ

Tính linh hoạt của các mô hình nền tảng thúc đẩy sự đổi mới trong nhiều lĩnh vực.

• Xử lý ngôn ngữ tự nhiên : Các mô hình như GPT-4 và BERT vượt trội trong các tác vụ như tạo văn bản , dịch thuật, tóm tắt và cung cấp năng lượng cho các chatbot phức tạp. Ví dụ, một công ty dịch vụ khách hàng có thể tinh chỉnh một mô hình ngôn ngữ được đào tạo trước như BERT trên các phiếu hỗ trợ của mình để xây dựng một hệ thống trả lời câu hỏi nội bộ có độ chính xác cao.
• Tầm nhìn máy tính : Các mô hình nền tảng tầm nhìn như CLIP (Tiền huấn luyện ngôn ngữ-hình ảnh tương phản) và Mô hình phân đoạn bất kỳ ( SAM ) xử lý các tác vụ như phân loại hình ảnh , phát hiện đối tượng và phân đoạn hình ảnh . Ví dụ, một công ty công nghệ nông nghiệp có thể thích ứng SAM bằng cách tinh chỉnh nó trên hình ảnh máy bay không người lái để phân đoạn chính xác các loại cây trồng khác nhau hoặc xác định các khu vực bị ảnh hưởng bởi dịch bệnh, đòi hỏi ít dữ liệu được gắn nhãn hơn so với các phương pháp học có giám sát truyền thống.
• Ứng dụng đa phương thức : Các mô hình ngày càng được đào tạo trên nhiều loại dữ liệu (ví dụ: văn bản và hình ảnh), cho phép thực hiện các tác vụ như tạo hình ảnh từ mô tả văn bản ( văn bản thành hình ảnh ) hoặc trả lời các câu hỏi về hình ảnh.

Mô hình nền tảng so với mô hình truyền thống

Sự khác biệt chính nằm ở phạm vi và khả năng tái sử dụng. Các mô hình ML truyền thống thường được đào tạo cho một nhiệm vụ cụ thể, duy nhất bằng cách sử dụng một tập dữ liệu được thiết kế riêng. Nếu một nhiệm vụ mới phát sinh, một mô hình mới thường cần được xây dựng và đào tạo từ đầu. Tuy nhiên, các mô hình nền tảng cung cấp một cơ sở có thể tái sử dụng. Quá trình đào tạo trước rộng rãi của chúng nắm bắt kiến thức chung, sau đó có thể chuyên môn hóa một cách hiệu quả.

Mô hình này cung cấp những lợi thế như giảm nhu cầu thu thập dữ liệu và chú thích mở rộng cho mỗi tác vụ mới và triển khai mô hình nhanh hơn. Tuy nhiên, những thách thức bao gồm chi phí tính toán và năng lượng khổng lồ cần thiết cho quá trình đào tạo trước, rủi ro kế thừa và khuếch đại các thành kiến có trong dữ liệu đào tạo và những cân nhắc về mặt đạo đức quan trọng liên quan đến việc sử dụng sai mục đích tiềm ẩn và tác động xã hội của chúng. Các nền tảng như Ultralytics HUB hướng đến mục tiêu hợp lý hóa quy trình truy cập, đào tạo và triển khai các mô hình AI tiên tiến, giúp người dùng tận dụng các công nghệ mạnh mẽ này một cách hiệu quả.