Nhúng hàng xóm ngẫu nhiên phân phối t (t-SNE)

Hiểu về t-SNE

Ý tưởng cốt lõi đằng sau t-SNE là bảo toàn cấu trúc cục bộ của dữ liệu. Nó mô hình hóa sự tương đồng giữa các điểm dữ liệu chiều cao như các xác suất có điều kiện và sau đó cố gắng tìm một nhúng chiều thấp tạo ra phân phối xác suất tương tự giữa các điểm được ánh xạ. Không giống như các phương pháp tuyến tính như Phân tích thành phần chính (PCA) , t-SNE không tuyến tính và mang tính xác suất. Điều này cho phép nó nắm bắt các mối quan hệ phức tạp mà PCA có thể bỏ sót, đặc biệt là khi dữ liệu nằm trên các đa tạp cong. Tuy nhiên, PCA bảo toàn cấu trúc toàn cục và phương sai của dữ liệu tốt hơn.

Thuật toán tính toán sự tương đồng từng cặp giữa các điểm trong cả chiều cao và chiều thấp. Thuật toán sử dụng phân phối Gaussian trong không gian chiều cao và phân phối t (cụ thể là phân phối t của Student với một bậc tự do) trong không gian chiều thấp. Việc sử dụng phân phối t giúp giảm bớt "vấn đề đông đúc" (khi các điểm có xu hướng tập trung lại ở tâm bản đồ) và phân tách các điểm không giống nhau hiệu quả hơn trong bản đồ chiều thấp. Quá trình này bao gồm việc giảm thiểu sự phân kỳ giữa hai phân phối này bằng cách sử dụng gradient descent . Để biết giải thích kỹ thuật chi tiết, hãy tham khảo bài báo t-SNE gốc .

Ứng dụng trong AI và ML

t-SNE chủ yếu là một kỹ thuật trực quan hóa, vô cùng hữu ích để khám phá và hiểu dữ liệu đa chiều do các mô hình AI tạo ra. Sau đây là một số ví dụ:

• Hình dung nhúng từ: Trong Xử lý ngôn ngữ tự nhiên (NLP) , các mô hình như BERT hoặc GPT tạo ra các biểu diễn vectơ đa chiều ( nhúng ) cho các từ hoặc câu. Áp dụng t-SNE vào các nhúng này cho phép các nhà nghiên cứu hình dung các mối quan hệ ngữ nghĩa, có khả năng hiển thị các từ có ý nghĩa tương tự được nhóm lại với nhau trong biểu đồ 2D. Điều này giúp hiểu được chất lượng của mô hình ngôn ngữ đã học.
• Hiểu về Biểu diễn Tính năng CNN: Trong thị giác máy tính (CV) , Mạng nơ-ron tích chập (CNN) , giống như những mạng được sử dụng trong các mô hình YOLO Ultralytics để phát hiện đối tượng , tìm hiểu các tính năng phân cấp. t-SNE có thể được áp dụng cho các kích hoạt của các lớp trung gian hoặc lớp cuối cùng cho một tập dữ liệu (ví dụ: ImageNet ). Việc trực quan hóa các bản đồ tính năng này giúp hiểu được mô hình phân tách các lớp đối tượng khác nhau tốt như thế nào và có thể cung cấp thông tin chi tiết trong quá trình phát triển mô hình, thậm chí có thể khi đào tạo các mô hình trên Ultralytics HUB .

Những cân nhắc chính

Mặc dù mạnh mẽ, t-SNE có những đặc điểm mà người dùng cần hiểu:

• Chi phí tính toán: t-SNE có thể tốn nhiều công sức tính toán, đặc biệt là đối với các tập dữ liệu rất lớn, vì nó đòi hỏi phải tính toán độ tương đồng theo từng cặp.
• Độ nhạy của siêu tham số: Kết quả nhạy cảm với siêu tham số, đặc biệt là "sự bối rối", ảnh hưởng đến số lượng các láng giềng cục bộ được xem xét cho mỗi điểm. Điều chỉnh siêu tham số thích hợp thường là cần thiết. Các triển khai như trong scikit-learn cung cấp các điều khiển cho các tham số này.
• Diễn giải: Kích thước của các cụm và khoảng cách giữa chúng trong biểu đồ t-SNE không phải lúc nào cũng tương ứng trực tiếp với kích thước cụm thực tế hoặc khoảng cách trong không gian nhiều chiều ban đầu. Nó chủ yếu tiết lộ những điểm tương đồng và nhóm cục bộ. Đây là công cụ để khám phá hơn là phân tích cụm xác định như K-Means .

Tóm lại, t-SNE là một công cụ có giá trị trong bộ công cụ Trí tuệ nhân tạo (AI) để trực quan hóa và thu thập trực giác về các tập dữ liệu phức tạp, đa chiều, bổ sung cho các phương pháp phân tích khác.