Chức năng kích hoạt

Tại sao tính phi tuyến tính lại quan trọng

Dữ liệu trong thế giới thực, chẳng hạn như hình ảnh, văn bản và âm thanh, vốn phức tạp và phi tuyến tính. Một mô hình chỉ bao gồm các phép biến đổi tuyến tính không thể nắm bắt hiệu quả các mối quan hệ phức tạp này. Các hàm kích hoạt đưa ra tính phi tuyến tính cần thiết, cho phép các mạng nơ-ron xấp xỉ các hàm phức tạp tùy ý. Khả năng này là nền tảng của Trí tuệ nhân tạo (AI) hiện đại, tạo điều kiện cho các đột phá trong các lĩnh vực như Thị giác máy tính (CV) và Xử lý ngôn ngữ tự nhiên (NLP) . Quá trình học tập bao gồm việc điều chỉnh trọng số mạng thông qua các phương pháp như truyền ngược và giảm dần độ dốc , dựa trên các thuộc tính được đưa ra bởi các hàm này.

Các loại hàm kích hoạt phổ biến

Có nhiều hàm kích hoạt khác nhau, mỗi hàm có những đặc điểm riêng biệt phù hợp với các tình huống khác nhau. Một số loại phổ biến bao gồm:

• Sigmoid : Hàm này nén các giá trị đầu vào thành một phạm vi từ 0 đến 1. Hàm này từng rất phổ biến trong lịch sử nhưng hiện nay ít được sử dụng trong các lớp ẩn do các vấn đề như vấn đề độ dốc biến mất , có thể làm chậm hoặc dừng quá trình học. Xem định nghĩa toán học trên Wikipedia .
• Tanh (Hyperbolic Tangent) : Tương tự như Sigmoid nhưng đưa ra các giá trị trong khoảng từ -1 đến 1. Việc lấy số 0 làm tâm thường giúp ích cho việc học so với Sigmoid, nhưng nó vẫn gặp vấn đề về độ dốc biến mất. Khám phá các thuộc tính của nó trên Wolfram MathWorld .
• ReLU (Đơn vị tuyến tính chỉnh lưu) : Xuất trực tiếp đầu vào nếu dương và bằng không nếu không. Nó hiệu quả về mặt tính toán và được sử dụng rộng rãi trong Mạng nơ-ron tích chập (CNN) . Tuy nhiên, nó có thể gặp phải vấn đề "ReLU chết" khi các nơ-ron trở nên không hoạt động. Đọc bài báo gốc của ReLU .
• Leaky ReLU : Một biến thể của ReLU cho phép một gradient nhỏ, không bằng không khi đầu vào là số âm, giải quyết vấn đề ReLU đang chết dần. Có thể tìm hiểu thêm thông tin chi tiết tại Papers With Code .
• SiLU (Đơn vị tuyến tính Sigmoid) / Swish: Một hàm kích hoạt tự đóng thường hoạt động tốt hơn ReLU. Nó được sử dụng trong một số kiến trúc hiện đại, bao gồm một số mô hình YOLO Ultralytics . Xem bài báo nghiên cứu SiLU và triển khai của nó trong PyTorch .
• GELU (Đơn vị tuyến tính lỗi Gaussian) : Thường được sử dụng trong các mô hình Transformer , GELU tính trọng số đầu vào theo độ lớn của chúng thay vì chỉ theo dấu của chúng. Chi tiết có thể được tìm thấy trong bài báo GELU .
• Softmax : Thường được sử dụng trong lớp đầu ra của mạng cho các tác vụ phân loại đa lớp. Nó chuyển đổi một vectơ điểm thô thành phân phối xác suất, trong đó mỗi giá trị nằm giữa 0 và 1 và tất cả các giá trị đều có tổng bằng 1. Tìm hiểu thêm về hàm Softmax trên Wikipedia .

Chọn đúng chức năng kích hoạt

Việc lựa chọn hàm kích hoạt phụ thuộc vào các yếu tố như loại vấn đề (ví dụ: phân loại, hồi quy), lớp cụ thể (ẩn so với đầu ra), kiến trúc mạng và các đặc điểm hiệu suất mong muốn như độ chính xác và tốc độ suy luận . ReLU và các biến thể của nó (Leaky ReLU, SiLU) là những lựa chọn phổ biến cho các lớp ẩn trong CNN do hiệu quả và khả năng giảm thiểu độ dốc biến mất của chúng. Sigmoid và Tanh thường được sử dụng trong Mạng nơ-ron hồi quy (RNN) , trong khi Softmax là tiêu chuẩn cho đầu ra phân loại đa lớp. Thử nghiệm và các kỹ thuật như điều chỉnh siêu tham số thường là cần thiết để tìm ra các hàm kích hoạt tối ưu cho một mô hình và tập dữ liệu cụ thể. Bạn có thể khám phá nhiều mẹo đào tạo mô hình khác nhau để được hướng dẫn.

Ứng dụng trong thế giới thực

Các hàm kích hoạt rất quan trọng trong nhiều ứng dụng AI:

• Phát hiện đối tượng : Trong các mô hình như YOLO11 , các hàm kích hoạt như SiLU hoặc ReLU được sử dụng trong các lớp tích chập của xương sống để trích xuất các đặc điểm từ hình ảnh (ví dụ: cạnh, kết cấu, hình dạng). Trong đầu phát hiện , các hàm kích hoạt giúp dự đoán xác suất lớp và tinh chỉnh tọa độ của các hộp giới hạn xung quanh các đối tượng được phát hiện. Công nghệ này rất quan trọng trong các lĩnh vực như xe tự hành để xác định người đi bộ và các xe khác, và trong các hệ thống an ninh để giám sát.
• Nhận dạng giọng nói : Trong các hệ thống chuyển đổi ngôn ngữ nói thành văn bản, thường sử dụng RNN hoặc Transformers, các hàm kích hoạt như Tanh hoặc GELU được sử dụng trong các lớp mạng. Chúng giúp mô hình nắm bắt các phụ thuộc và mẫu thời gian trong tín hiệu âm thanh, cho phép phiên âm chính xác. Điều này hỗ trợ các ứng dụng như trợ lý ảo (ví dụ: Siri, Alexa) và phần mềm đọc chính tả. Tìm hiểu thêm về nhận dạng giọng nói tại các viện nghiên cứu hàng đầu .

So sánh với các thuật ngữ liên quan

Điều quan trọng là phải phân biệt các hàm kích hoạt với các khái niệm khác trong mạng nơ-ron:

• Hàm mất mát : Hàm mất mát định lượng sự khác biệt giữa các dự đoán của mô hình và các giá trị mục tiêu thực tế ("lỗi"). Mục tiêu của nó là hướng dẫn quá trình đào tạo bằng cách cung cấp thước đo về mức độ hiệu quả của mô hình. Trong khi các hàm kích hoạt xác định đầu ra của nơ-ron trong quá trình truyền tiếp, các hàm mất mát đánh giá đầu ra tổng thể của mô hình vào cuối quá trình truyền để tính toán lỗi được sử dụng để cập nhật trọng số trong quá trình truyền ngược .
• Thuật toán tối ưu hóa : Các thuật toán này (ví dụ: Adam Optimizer , Stochastic Gradient Descent (SGD) ) xác định cách trọng số của mô hình được cập nhật dựa trên tổn thất được tính toán. Chúng sử dụng các gradient được suy ra từ hàm mất mát để điều chỉnh các tham số và giảm thiểu lỗi. Các hàm kích hoạt ảnh hưởng đến phép tính các gradient này nhưng không phải là phương pháp tối ưu hóa. Xem tổng quan về các thuật toán tối ưu hóa .
• Kỹ thuật chuẩn hóa : Các phương pháp như Chuẩn hóa theo lô nhằm mục đích ổn định và tăng tốc quá trình đào tạo bằng cách chuẩn hóa các đầu vào thành một lớp (điều chỉnh chúng để có giá trị trung bình bằng không và phương sai đơn vị). Chuẩn hóa diễn ra trước khi hàm kích hoạt được áp dụng cho các đầu vào của lớp đã chuyển đổi, giúp duy trì sự phân phối dữ liệu nhất quán trên toàn bộ mạng. Đọc bài báo Chuẩn hóa theo lô để biết chi tiết.

Hiểu các hàm kích hoạt là điều cần thiết để thiết kế, đào tạo và tối ưu hóa các mô hình Machine Learning (ML) hiệu quả trên nhiều miền khác nhau. Lựa chọn đúng có thể tác động đáng kể đến hiệu suất mô hình và động lực đào tạo. Bạn có thể khám phá các mô hình khác nhau và các thành phần của chúng bằng các công cụ như Ultralytics HUB , giúp xây dựng, đào tạo và triển khai các mô hình AI.