Chức năng kích hoạt

Vai trò của phi tuyến tính

Vai trò chính của hàm kích hoạt là đưa tính phi tuyến tính vào đầu ra của một nơ-ron. Dữ liệu trong thế giới thực, chẳng hạn như hình ảnh, văn bản và âm thanh, chứa các mẫu phi tuyến tính phức tạp. Để mô hình hóa những thứ này một cách hiệu quả, các mô hình học sâu yêu cầu các thành phần có thể xấp xỉ các mối quan hệ phi tuyến tính này. Các hàm kích hoạt biến đổi tổ hợp tuyến tính của các đầu vào trong một nơ-ron thành đầu ra phi tuyến tính, cho phép mạng học các ánh xạ phức tạp giữa các đầu vào và đầu ra trong quá trình đào tạo .

Các hàm kích hoạt phổ biến

Có nhiều loại hàm kích hoạt được sử dụng trong thực tế, mỗi loại có những đặc điểm riêng:

• Sigmoid : Hàm này ánh xạ bất kỳ giá trị đầu vào nào thành đầu ra giữa 0 và 1. Hàm này trước đây rất phổ biến, đặc biệt là trong các lớp đầu ra cho các tác vụ phân loại nhị phân, nhưng có thể gặp phải vấn đề về độ dốc biến mất trong quá trình truyền ngược .
• Tanh (Hyperbolic Tangent) : Tương tự như Sigmoid, nhưng ánh xạ đầu vào tới đầu ra trong khoảng từ -1 đến 1. Có tâm bằng 0 thường giúp hội tụ tốt hơn so với Sigmoid, mặc dù nó cũng gặp phải vấn đề về độ dốc biến mất.
• ReLU (Đơn vị tuyến tính chỉnh lưu) : Đưa ra đầu vào trực tiếp nếu đầu vào là dương và bằng không nếu không. Nó hiệu quả về mặt tính toán và được sử dụng rộng rãi trong các lớp ẩn của CNN và các mạng khác. Các biến thể như Leaky ReLU giải quyết vấn đề "ReLU đang chết" khi các tế bào thần kinh có thể trở nên không hoạt động.
• Softmax : Thường được sử dụng trong lớp đầu ra của các mô hình phân loại đa lớp. Nó chuyển đổi một vectơ điểm thô (logits) thành phân phối xác suất, trong đó mỗi giá trị nằm giữa 0 và 1 và tất cả các giá trị đều có tổng bằng 1.
• SiLU (Đơn vị tuyến tính Sigmoid) : Một hàm trơn, không đơn điệu (còn được gọi là Swish) thường hoạt động tốt trong các mô hình sâu hơn. Nó được sử dụng trong các kiến trúc như EfficientNet và một số Ultralytics YOLO mô hình.
• GELU (Đơn vị tuyến tính lỗi Gauss) : Thường thấy trong các mô hình Transformer như BERT và GPT , được biết đến nhờ tính hiệu quả trong các tác vụ Xử lý ngôn ngữ tự nhiên (NLP) .

Ứng dụng trong thế giới thực

Các hàm kích hoạt rất quan trọng trong nhiều ứng dụng AI:

1. Phát hiện đối tượng : Trong các mô hình như Ultralytics YOLO11 , các hàm kích hoạt như SiLU hoặc ReLU được sử dụng trong các lớp tích chập ( xương sống , cổ và đầu phát hiện ) để xử lý các đặc điểm hình ảnh và xác định các đối tượng trong hình ảnh hoặc luồng video. Việc lựa chọn hàm kích hoạt ảnh hưởng đến cả độ chính xác và tốc độ suy luận . Các mô hình này được sử dụng trong xe tự hành và hệ thống an ninh .
2. Nhận dạng giọng nói : Mạng nơ-ron hồi quy (RNN) và bộ biến đổi được sử dụng cho các ứng dụng chuyển giọng nói thành văn bản sử dụng các hàm kích hoạt như Tanh hoặc GELU để xử lý dữ liệu âm thanh tuần tự và phiên âm ngôn ngữ nói một cách chính xác, hỗ trợ trợ lý ảo và phần mềm đọc chính tả.

So sánh với các thuật ngữ liên quan

Điều quan trọng là phải phân biệt các hàm kích hoạt với các khái niệm khác trong mạng nơ-ron:

• Hàm mất mát : Đo sự khác biệt giữa các dự đoán của mô hình và các giá trị mục tiêu thực tế (lỗi). Các hàm kích hoạt hoạt động trong quá trình truyền tiếp để xác định đầu ra của nơ-ron, trong khi các hàm mất mát được sử dụng sau quá trình truyền tiếp để đánh giá hiệu suất và hướng dẫn cập nhật trọng số thông qua truyền ngược.
• Thuật toán tối ưu hóa : Các thuật toán như Adam hoặc Stochastic Gradient Descent (SGD) được sử dụng để cập nhật các tham số của mô hình ( weights and biases ) dựa trên các gradient được tính toán từ hàm mất mát. Chúng xác định cách mô hình học, trong khi các hàm kích hoạt xác định hành vi của từng tế bào thần kinh.
• Kỹ thuật chuẩn hóa : Các phương pháp như Chuẩn hóa theo lô được áp dụng cho đầu vào hoặc đầu ra của các lớp để ổn định quá trình đào tạo, tăng tốc độ hội tụ và đôi khi cải thiện khả năng khái quát hóa. Chúng sửa đổi phân phối dữ liệu trong mạng nhưng không đưa vào tính phi tuyến tính như các hàm kích hoạt. Chuẩn hóa thường được áp dụng trước hàm kích hoạt.

Hiểu các hàm kích hoạt là điều cần thiết để thiết kế, đào tạo và tối ưu hóa các mô hình học máy hiệu quả trên nhiều miền khác nhau, từ thị giác máy tính đến NLP. Lựa chọn đúng có thể tác động đáng kể đến hiệu suất mô hình và động lực đào tạo. Bạn có thể khám phá các mô hình khác nhau và các thành phần của chúng bằng các công cụ như Ultralytics HUB .