Thuật ngữ

Tiền xử lý dữ liệu

Xử lý dữ liệu chính cho máy học. Tìm hiểu các kỹ thuật như làm sạch, mở rộng quy mô và mã hóa để tăng độ chính xác và hiệu suất của mô hình.

Tiền xử lý dữ liệu bao gồm các kỹ thuật thiết yếu được sử dụng để làm sạch, chuyển đổi và sắp xếp dữ liệu thô thành định dạng có cấu trúc và phù hợp trước khi sử dụng để đào tạo các mô hình Học máy (ML) . Dữ liệu thô thu thập từ nhiều nguồn khác nhau thường lộn xộn, chứa các giá trị bị thiếu, không nhất quán, nhiễu hoặc lỗi. Tiền xử lý giải quyết các vấn đề này, nâng cao chất lượng dữ liệu, trực tiếp chuyển thành hiệu suất, độ chính xác và độ tin cậy được cải thiện của các mô hình ML. Bước này là cơ bản trong bất kỳ dự án nào dựa trên dữ liệu, bao gồm cả những dự án trong Trí tuệ nhân tạo (AI) và Thị giác máy tính (CV) .

Tại sao xử lý dữ liệu trước lại quan trọng?

Nguyên tắc "vào rác, ra rác" áp dụng mạnh mẽ cho máy học. Các mô hình học các mẫu trực tiếp từ dữ liệu mà chúng được đào tạo. Nếu dữ liệu đầu vào bị lỗi, mô hình sẽ học các mẫu không chính xác hoặc không liên quan, dẫn đến dự đoán kém và kết quả không đáng tin cậy. Dữ liệu chất lượng cao, được chuẩn bị tốt là rất quan trọng để xây dựng các mô hình hiệu quả, chẳng hạn như Ultralytics YOLO cho các tác vụ đòi hỏi khắt khe như phát hiện đối tượng . Việc xử lý trước dữ liệu phù hợp góp phần đáng kể vào:

Cải thiện độ chính xác của mô hình: Dữ liệu sạch và có cấu trúc tốt giúp mô hình học các mẫu có ý nghĩa hiệu quả hơn.
Nâng cao hiệu quả: Xử lý trước có thể giảm tài nguyên tính toán cần thiết cho quá trình đào tạo bằng cách đơn giản hóa dữ liệu hoặc giảm tính đa chiều của dữ liệu.
Giảm hiện tượng quá khớp: Xử lý nhiễu và giá trị ngoại lệ có thể ngăn mô hình học các chi tiết không liên quan này, cải thiện khả năng khái quát hóa sang dữ liệu mới và tránh hiện tượng quá khớp .
Đảm bảo độ tin cậy: Định dạng dữ liệu nhất quán dẫn đến hành vi mô hình ổn định và đáng tin cậy hơn trong cả quá trình đào tạo và suy luận .

Kỹ thuật tiền xử lý dữ liệu phổ biến

Nhiều kỹ thuật khác nhau được áp dụng trong quá trình xử lý trước dữ liệu, thường kết hợp, tùy thuộc vào loại dữ liệu và tác vụ ML cụ thể. Các kỹ thuật chính bao gồm:

Dọn dẹp dữ liệu : Điều này liên quan đến việc xác định và sửa lỗi, xử lý các giá trị bị thiếu (ví dụ, thông qua việc quy kết hoặc loại bỏ) và xử lý các điểm dữ liệu ngoại lai hoặc nhiễu. Các công cụ như Pandas thường được sử dụng cho mục đích này Python .
Chuyển đổi dữ liệu: Bước này sẽ sửa đổi dữ liệu sang định dạng phù hợp hơn.
- Thu nhỏ: Các kỹ thuật như Chuẩn hóa (thu nhỏ dữ liệu theo phạm vi, thường là từ 0 đến 1) hoặc Chuẩn hóa (thu nhỏ dữ liệu để có giá trị trung bình bằng 0 và phương sai đơn vị) giúp các thuật toán nhạy cảm với các thang đo đặc điểm, chẳng hạn như các mô hình dựa trên độ dốc giảm dần . Tìm hiểu thêm về các kỹ thuật thu nhỏ trong tài liệu tiền xử lý Scikit-learn .
- Mã hóa: Chuyển đổi các tính năng phân loại (như nhãn văn bản) thành biểu diễn số (ví dụ: mã hóa một lần) mà mô hình có thể xử lý.
Kỹ thuật tính năng : Tạo các tính năng mới, có khả năng cung cấp nhiều thông tin hơn từ các tính năng hiện có để cải thiện hiệu suất mô hình. Điều này đòi hỏi kiến thức chuyên môn và sự sáng tạo.
Trích xuất tính năng : Tự động trích xuất một tập hợp các tính năng nhỏ hơn từ dữ liệu gốc trong khi vẫn giữ nguyên thông tin cần thiết. Điều này thường được thực hiện bằng các kỹ thuật như Phân tích thành phần chính (PCA) .
Giảm số chiều : Giảm số lượng tính năng đầu vào để đơn giản hóa mô hình, giảm thời gian đào tạo và giảm thiểu rủi ro quá khớp, đặc biệt quan trọng đối với Dữ liệu lớn .
Tiền xử lý hình ảnh cụ thể: Đối với các tác vụ thị giác máy tính, các bước phổ biến bao gồm thay đổi kích thước hình ảnh theo kích thước nhất quán, chuyển đổi không gian màu (ví dụ: BGR sang RGB), điều chỉnh độ sáng hoặc độ tương phản và áp dụng bộ lọc để giảm nhiễu bằng các thư viện như OpenCV . Ultralytics cung cấp hướng dẫn về xử lý trước dữ liệu chú thích cho các mô hình YOLO .

Ứng dụng trong thế giới thực

Xử lý dữ liệu trước rất quan trọng trong vô số ứng dụng AI/ML:

Phân tích hình ảnh y tế : Trước khi mô hình AI có thể phân tích các hình ảnh chụp MRI hoặc CT để tìm các bất thường như khối u ( ví dụ về tập dữ liệu Brain Tumor ), hình ảnh phải được xử lý trước. Điều này thường bao gồm giảm nhiễu bằng bộ lọc, chuẩn hóa cường độ để chuẩn hóa mức độ sáng trên các lần quét và máy khác nhau và đăng ký hình ảnh để căn chỉnh nhiều lần quét. Các bước này đảm bảo mô hình nhận được đầu vào nhất quán, cải thiện khả năng phát hiện chính xác các bất thường nhỏ. Điều này rất quan trọng đối với các ứng dụng AI trong Y tế .
Xe tự hành : Xe tự lái dựa vào các cảm biến như camera và LiDAR. Dữ liệu thô từ các cảm biến này cần được xử lý trước rộng rãi. Hình ảnh camera có thể cần thay đổi kích thước, hiệu chỉnh màu sắc và điều chỉnh độ sáng để xử lý các điều kiện ánh sáng khác nhau. Dữ liệu đám mây điểm LiDAR có thể cần được lọc để loại bỏ nhiễu hoặc điểm mặt đất. Quá trình xử lý trước này đảm bảo rằng các hệ thống phát hiện và theo dõi đối tượng nhận được dữ liệu sạch, chuẩn hóa để xác định người đi bộ, phương tiện và chướng ngại vật một cách đáng tin cậy, rất quan trọng đối với sự an toàn trong các ứng dụng AI trong ô tô .