SiLU (Sigmoid Linear Unit)

Hàm kích hoạt Sigmoid Linear Unit, thường được gọi là SiLU, là một hàm kích hoạt hiệu quả cao được sử dụng trong các kiến ​​trúc học sâu hiện đại để đưa tính phi tuyến tính vào mạng nơ-ron. Bằng cách xác định cách các nơ-ron xử lý và truyền thông tin qua các lớp của mô hình, SiLU cho phép hệ thống học các mẫu phức tạp trong dữ liệu, hoạt động như một giải pháp thay thế mượt mà và tinh vi hơn so với các hàm bậc thang truyền thống. Thường được liên kết với thuật ngữ "Swish" từ nghiên cứu ban đầu về tìm kiếm kích hoạt tự động , SiLU đã trở thành một tiêu chuẩn trong các mô hình thị giác máy tính hiệu suất cao, bao gồm cả kiến ​​trúc YOLO26 tiên tiến nhất hiện nay.

Hàm SiLU Hoạt Động Như Thế Nào

Về bản chất, hàm SiLU hoạt động bằng cách nhân giá trị đầu vào với phép biến đổi Sigmoid của chính nó. Không giống như các hàm ngưỡng đơn giản chuyển đổi đột ngột một nơron giữa trạng thái "bật" và "tắt", SiLU cung cấp một đường cong mượt mà cho phép xử lý tín hiệu tinh tế hơn. Cấu trúc toán học này tạo ra các đặc điểm riêng biệt có lợi cho quá trình huấn luyện mô hình :

• Tính trơn tru: Đường cong liên tục và khả vi ở mọi điểm. Thuộc tính này hỗ trợ các thuật toán tối ưu hóa như gradient descent bằng cách cung cấp một "bề mặt" nhất quán để điều chỉnh trọng số mô hình , điều này thường dẫn đến sự hội tụ nhanh hơn trong quá trình huấn luyện.
• Tính không đơn điệu: Không giống như các đơn vị tuyến tính tiêu chuẩn, SiLU không đơn điệu , nghĩa là đầu ra của nó có thể giảm ngay cả khi đầu vào tăng trong một số phạm vi âm nhất định. Điều này cho phép mạng lưới nắm bắt các đặc điểm phức tạp và giữ lại các giá trị âm mà nếu không sẽ bị loại bỏ, giúp ngăn chặn vấn đề suy giảm độ dốc trong các mạng nơ-ron sâu.
• Tự điều chỉnh cổng: SiLU hoạt động như một cổng riêng, điều chỉnh lượng tín hiệu đầu vào đi qua dựa trên chính độ lớn của tín hiệu đầu vào. Điều này mô phỏng các cơ chế điều chỉnh cổng được tìm thấy trong mạng bộ nhớ dài hạn ngắn hạn (LSTM) nhưng ở dạng hiệu quả về mặt tính toán, phù hợp với mạng nơ-ron tích chập (CNN) .

Các Ứng dụng Thực tế

SiLU là một phần không thể thiếu của nhiều giải pháp AI tiên tiến, nơi độ chính xác và hiệu quả là tối quan trọng.

• Nhận thức của xe tự hành: Trong lĩnh vực an toàn tối quan trọng của xe tự hành , hệ thống nhận thức phải xác định người đi bộ, biển báo giao thông và chướng ngại vật ngay lập tức. Các mô hình sử dụng SiLU trong cấu trúc nền có thể duy trì tốc độ suy luận cao đồng thời thực hiện phát hiện đối tượng chính xác trong các điều kiện ánh sáng khác nhau, đảm bảo xe phản ứng an toàn với môi trường xung quanh.
• Chẩn đoán hình ảnh y tế: Trong phân tích hình ảnh y tế , mạng nơ-ron cần phân biệt được những khác biệt nhỏ về kết cấu trong ảnh chụp MRI hoặc CT. Bản chất bảo toàn độ dốc của SiLU giúp các mạng này học được những chi tiết nhỏ cần thiết cho việc phát hiện khối u sớm, cải thiện đáng kể độ tin cậy của các công cụ chẩn đoán tự động được các bác sĩ X-quang sử dụng.

So sánh với các khái niệm liên quan

Để hiểu rõ hơn về SiLU, cần phân biệt nó với các chức năng kích hoạt khác được tìm thấy trong thuật ngữ Ultralytics .

• SiLU so với ReLU (Rectified Linear Unit) : ReLU nổi tiếng về tốc độ và sự đơn giản, xuất ra giá trị 0 cho tất cả các đầu vào âm. Mặc dù hiệu quả, điều này có thể dẫn đến "các nơron chết" ngừng học. SiLU tránh điều này bằng cách cho phép một gradient nhỏ, phi tuyến tính chảy qua các giá trị âm, điều này thường dẫn đến độ chính xác tốt hơn cho các kiến ​​trúc mạng sâu được huấn luyện trên nền tảng Ultralytics .
• SiLU so với GELU (Gaussian Error Linear Unit) : Hai hàm này tương tự nhau về mặt hình ảnh và chức năng. GELU là tiêu chuẩn cho các mô hình Transformer như BERT và GPT, trong khi SiLU thường được ưu tiên sử dụng cho các tác vụ thị giác máy tính (CV) và các bộ phát hiện đối tượng dựa trên mạng nơ-ron tích chập (CNN).
• SiLU so với Sigmoid : Mặc dù SiLU sử dụng hàm Sigmoid bên trong, nhưng chúng đóng vai trò khác nhau. Sigmoid thường được sử dụng trong lớp đầu ra cuối cùng cho phân loại nhị phân để biểu diễn xác suất, trong khi SiLU được sử dụng trong các lớp ẩn để hỗ trợ trích xuất đặc trưng.

Ví dụ triển khai

Bạn có thể hình dung cách các hàm kích hoạt khác nhau biến đổi dữ liệu bằng thư viện PyTorch . Đoạn mã sau đây minh họa sự khác biệt giữa ReLU (loại bỏ các giá trị âm) và SiLU (cho phép dòng chảy âm mượt mà).

import torch
import torch.nn as nn

# Input data: negative, zero, and positive values
data = torch.tensor([-2.0, 0.0, 2.0])

# Apply ReLU: Negatives become 0, positives stay unchanged
relu_out = nn.ReLU()(data)
print(f"ReLU: {relu_out}")
# Output: tensor([0., 0., 2.])

# Apply SiLU: Smooth curve, small negative value retained
silu_out = nn.SiLU()(data)
print(f"SiLU: {silu_out}")
# Output: tensor([-0.2384,  0.0000,  1.7616])

Bằng cách lưu giữ thông tin ở các giá trị âm và cung cấp độ dốc mượt mà, SiLU đóng vai trò then chốt trong sự thành công của các mạng nơ-ron hiện đại. Việc áp dụng nó trong các kiến ​​trúc như YOLO26 nhấn mạnh tầm quan trọng của nó trong việc đạt được hiệu suất hàng đầu trong nhiều nhiệm vụ thị giác máy tính khác nhau.