Leaky ReLU

Leaky ReLU là một biến thể chuyên biệt của hàm kích hoạt Rectified Linear Unit (ReLU) tiêu chuẩn được sử dụng trong các mô hình học sâu. Trong khi ReLU tiêu chuẩn đặt tất cả các giá trị đầu vào âm về chính xác bằng không, Leaky ReLU lại đưa vào một độ dốc nhỏ, khác không cho các đầu vào âm. Sự điều chỉnh tinh tế này cho phép một lượng nhỏ thông tin truyền qua mạng ngay cả khi nơron không hoạt động, giải quyết một vấn đề quan trọng được gọi là vấn đề "ReLU chết". Bằng cách duy trì độ dốc liên tục, hàm này giúp mạng nơron học mạnh mẽ hơn trong giai đoạn huấn luyện, đặc biệt là trong các kiến ​​trúc sâu được sử dụng cho các tác vụ phức tạp như nhận dạng hình ảnh và xử lý ngôn ngữ tự nhiên.

Giải quyết vấn đề ReLU sắp biến mất

Để hiểu được sự cần thiết của Leaky ReLU, trước tiên cần xem xét những hạn chế của hàm kích hoạt ReLU tiêu chuẩn. Trong thiết lập tiêu chuẩn, nếu một nơ-ron nhận đầu vào âm, nó sẽ xuất ra 0. Do đó, đạo hàm của hàm trở thành 0 trong quá trình lan truyền ngược . Nếu một nơ-ron thực sự bị kẹt trong trạng thái này với tất cả các đầu vào, nó sẽ ngừng cập nhật trọng số của mình hoàn toàn, trở nên "chết".

Hàm Leaky ReLU giải quyết vấn đề này bằng cách cho phép một độ dốc dương nhỏ đối với các giá trị âm—thường là một độ dốc không đổi như 0,01. Điều này đảm bảo rằng thuật toán tối ưu hóa luôn có thể tiếp tục điều chỉnh trọng số, ngăn chặn các nơ-ron trở nên không hoạt động vĩnh viễn. Đặc điểm này đặc biệt có giá trị khi huấn luyện các mạng sâu, nơi việc bảo toàn biên độ tín hiệu là rất quan trọng để tránh hiện tượng độ dốc biến mất .

Các Ứng dụng Thực tế

Leaky ReLU được sử dụng rộng rãi trong các trường hợp mà tính ổn định huấn luyện và luồng gradient là tối quan trọng.

• Mạng đối kháng tạo sinh (GAN): Một trong những ứng dụng nổi bật nhất của Leaky ReLU là trong Mạng đối kháng tạo sinh (GAN) . Trong mạng phân loại của GAN, độ dốc thưa thớt từ hàm ReLU chuẩn có thể ngăn cản mô hình học tập hiệu quả. Việc sử dụng Leaky ReLU đảm bảo rằng độ dốc được truyền qua toàn bộ kiến ​​trúc, giúp bộ tạo sinh tạo ra hình ảnh tổng hợp chất lượng cao hơn, một kỹ thuật được mô tả chi tiết trong các nghiên cứu quan trọng như bài báo DCGAN .
• Phát hiện đối tượng nhẹ: Trong khi các mô hình tiên tiến như YOLO26 thường dựa vào các hàm mượt mà hơn như SiLU, Leaky ReLU vẫn là lựa chọn phổ biến cho các kiến ​​trúc nhẹ, tùy chỉnh được triển khai trên phần cứng AI biên . Sự đơn giản về mặt toán học (tuyến tính từng phần) của nó có nghĩa là nó yêu cầu ít sức mạnh tính toán hơn so với các hàm dựa trên hàm mũ, làm cho nó lý tưởng cho việc phát hiện đối tượng theo thời gian thực trên các thiết bị có khả năng xử lý hạn chế như điện thoại di động đời cũ hoặc bộ vi điều khiển nhúng.

So sánh với các khái niệm liên quan

Việc lựa chọn hàm kích hoạt phù hợp là một bước quan trọng trong việc tinh chỉnh siêu tham số . Điều quan trọng là phải phân biệt Leaky ReLU với các hàm tương tự:

• So sánh Leaky ReLU và Standard ReLU : Standard ReLU buộc các đầu ra âm phải bằng 0, tạo ra một mạng "thưa thớt", có thể hiệu quả nhưng tiềm ẩn nguy cơ mất thông tin. Leaky ReLU hy sinh tính thưa thớt thuần túy này để đảm bảo tính khả dụng của gradient.
• So sánh Leaky ReLU và SiLU (Sigmoid Linear Unit) : Các kiến ​​trúc hiện đại, chẳng hạn như Ultralytics YOLO26 , sử dụng SiLU. Không giống như góc nhọn của Leaky ReLU, SiLU là một đường cong mượt mà, liên tục. Độ mượt này thường dẫn đến khả năng khái quát hóa và độ chính xác tốt hơn ở các lớp sâu, mặc dù Leaky ReLU có tốc độ tính toán nhanh hơn.
• So sánh Leaky ReLU và Parametric ReLU (PReLU): Trong Leaky ReLU, độ dốc âm là một siêu tham số cố định (ví dụ: 0.01). Trong Parametric ReLU (PReLU) , độ dốc này trở thành một tham số có thể học được mà mạng điều chỉnh trong quá trình huấn luyện, cho phép mô hình thích ứng hình dạng kích hoạt với tập dữ liệu cụ thể.

Triển khai hàm Leaky ReLU trong Python

Ví dụ sau đây minh họa cách triển khai lớp Leaky ReLU bằng thư viện PyTorch . Đoạn mã này khởi tạo hàm và truyền vào một tham số. tensor Chứa đựng cả giá trị tích cực và tiêu cực.

import torch
import torch.nn as nn

# Initialize Leaky ReLU with a negative slope of 0.1
# This means negative input x becomes 0.1 * x
leaky_relu = nn.LeakyReLU(negative_slope=0.1)

# Input data with positive and negative values
data = torch.tensor([10.0, -5.0, 0.0])

# Apply activation
output = leaky_relu(data)

print(f"Input: {data}")
print(f"Output: {output}")
# Output: tensor([10.0000, -0.5000,  0.0000])

Hiểu rõ những điểm khác biệt tinh tế này là điều cần thiết khi thiết kế kiến ​​trúc tùy chỉnh hoặc sử dụng Nền tảng Ultralytics để chú thích, huấn luyện và triển khai các mô hình thị giác máy tính của bạn. Việc lựa chọn hàm kích hoạt phù hợp đảm bảo mô hình của bạn hội tụ nhanh hơn và đạt được độ chính xác cao hơn trong các tác vụ cụ thể của bạn.