Giảm chiều

Tại sao việc giảm kích thước lại quan trọng?

Làm việc với dữ liệu đa chiều đặt ra một số thách thức. Các mô hình được huấn luyện trên tập dữ liệu với quá nhiều đặc trưng có thể trở nên quá phức tạp, dẫn đến hiện tượng quá khớp (overfitting ), khi mô hình học nhiễu thay vì học mẫu cơ bản. Ngoài ra, việc có nhiều đặc trưng hơn đòi hỏi nhiều sức mạnh tính toán và lưu trữ hơn, làm tăng thời gian và chi phí huấn luyện. Giảm đa chiều giải quyết những vấn đề này bằng cách:

• Đơn giản hóa mô hình: Ít tính năng hơn sẽ tạo ra các mô hình đơn giản hơn, dễ diễn giải hơn và ít bị quá khớp.
• Cải thiện hiệu suất: Bằng cách loại bỏ các tính năng không liên quan hoặc dư thừa (nhiễu), mô hình có thể tập trung vào các tín hiệu quan trọng nhất trong dữ liệu, thường dẫn đến độ chính xác và khả năng khái quát hóa tốt hơn.
• Giảm tải tính toán: Dữ liệu ít chiều giúp tăng tốc đáng kể quá trình đào tạo mô hình và giảm yêu cầu về bộ nhớ, điều này rất quan trọng đối với suy luận thời gian thực .
• Nâng cao khả năng trực quan hóa: Không thể trực quan hóa dữ liệu với nhiều hơn ba chiều. Các kỹ thuật như t-SNE giúp giảm dữ liệu xuống còn hai hoặc ba chiều, cho phép trực quan hóa dữ liệu một cách sâu sắc.

Kỹ thuật phổ biến

Có hai cách tiếp cận chính để giảm chiều: lựa chọn đặc điểm và trích xuất đặc điểm.

• Lựa chọn Đặc điểm : Phương pháp này bao gồm việc lựa chọn một tập hợp con các đặc điểm gốc và loại bỏ phần còn lại. Phương pháp này không tạo ra các đặc điểm mới, do đó mô hình kết quả có khả năng diễn giải cao. Các phương pháp này thường được phân loại thành kỹ thuật lọc, kỹ thuật bao bọc hoặc kỹ thuật nhúng.
• Trích xuất tính năng: Phương pháp này chuyển đổi dữ liệu từ không gian nhiều chiều sang không gian ít chiều hơn bằng cách tạo ra các đặc điểm mới từ sự kết hợp của các đặc điểm cũ. Các kỹ thuật phổ biến bao gồm:
  • Phân tích Thành phần Chính (PCA): Một kỹ thuật tuyến tính xác định các thành phần chính (hướng có phương sai cao nhất) trong dữ liệu. Phương pháp này nhanh và dễ diễn giải nhưng có thể không nắm bắt được các mối quan hệ phi tuyến tính phức tạp.
  • Autoencoders: Một loại mạng nơ-ron được sử dụng cho học không giám sát , có khả năng học các biểu diễn dữ liệu nén hiệu quả. Chúng mạnh mẽ trong việc học các cấu trúc phi tuyến tính nhưng phức tạp hơn PCA.
  • t-SNE (nhúng lân cận ngẫu nhiên phân phối t): Một kỹ thuật phi tuyến tính tuyệt vời để trực quan hóa dữ liệu đa chiều bằng cách khám phá các cụm cơ bản và cấu trúc cục bộ. Kỹ thuật này thường được sử dụng để khám phá hơn là bước tiền xử lý cho một mô hình ML khác do chi phí tính toán cao.

Giảm chiều so với các khái niệm liên quan

Điều quan trọng là phải phân biệt giảm chiều với các khái niệm liên quan như kỹ thuật đặc trưng . Trong khi kỹ thuật đặc trưng là một quy trình rộng bao gồm việc tạo, lựa chọn và chuyển đổi các biến để cải thiện hiệu suất mô hình, thì giảm chiều tập trung cụ thể vào việc giảm số lượng đặc trưng. Nó có thể được coi là một lĩnh vực phụ của kỹ thuật đặc trưng.

Tương tự như vậy, trong khi kết quả của việc giảm chiều là dữ liệu được nén, mục tiêu chính của nó là cải thiện hiệu suất mô hình, không chỉ là giảm kích thước lưu trữ, vốn là mục tiêu chính của các thuật toán nén dữ liệu chung như ZIP.

Ứng dụng trong AI và ML

Giảm kích thước là rất quan trọng trong nhiều ứng dụng Trí tuệ nhân tạo (AI) và ML:

• Thị giác Máy tính (CV): Hình ảnh chứa một lượng lớn dữ liệu pixel. Tính năng trích xuất đặc trưng vốn có trong Mạng Nơ-ron Tích chập (CNN) , được sử dụng trong các mô hình như Ultralytics YOLO , giúp giảm thiểu tính đa chiều này. Điều này cho phép mô hình tập trung vào các mẫu phù hợp cho các tác vụ như phát hiện đối tượng hoặc phân loại hình ảnh , giúp tăng tốc xử lý và cải thiện hiệu suất mô hình.
• Tin sinh học: Phân tích dữ liệu bộ gen thường liên quan đến các tập dữ liệu có hàng nghìn biểu hiện gen (tính năng). Giảm chiều giúp các nhà nghiên cứu xác định các mô hình quan trọng liên quan đến bệnh tật hoặc chức năng sinh học, giúp dữ liệu sinh học phức tạp dễ quản lý hơn. Các nghiên cứu được công bố trên các tạp chí như Nature Methods thường sử dụng các kỹ thuật này.
• Xử lý ngôn ngữ tự nhiên (NLP): Dữ liệu văn bản có thể được biểu diễn trong không gian đa chiều bằng các kỹ thuật như TF-IDF hoặc nhúng từ . Giảm số chiều giúp đơn giản hóa các biểu diễn này cho các tác vụ như phân loại tài liệu hoặc phân tích cảm xúc .
• Trực quan hóa dữ liệu: Các kỹ thuật như t-SNE rất hữu ích trong việc biểu diễn các tập dữ liệu đa chiều ở dạng 2D hoặc 3D. Điều này cho phép con người kiểm tra trực quan và hiểu các cấu trúc hoặc mối quan hệ tiềm năng trong dữ liệu, rất hữu ích cho việc quản lý các tập dữ liệu và mô hình phức tạp trên các nền tảng như Ultralytics HUB .