Tanh (Hyperbolic Tangent)

Hyperbolic Tangent, thường được viết tắt là Tanh, là một loại hàm kích hoạt thường được sử dụng trong mạng nơ-ron. Về mặt toán học, nó tương tự như hàm sigmoid, nhưng phạm vi đầu ra của nó khác nhau, khiến nó phù hợp với các loại tác vụ học máy khác nhau. Các hàm kích hoạt Tanh đóng vai trò quan trọng trong việc cho phép mạng nơ-ron học các mẫu phức tạp trong dữ liệu.

Hiểu Tanh

Hàm Tanh là một đường cong hình chữ S, được định nghĩa về mặt toán học để đưa ra các giá trị giữa -1 và 1. Điều này trái ngược với hàm Sigmoid , đưa ra các giá trị giữa 0 và 1. Bản chất lấy số 0 làm tâm của hàm Tanh, nghĩa là đầu ra của nó đối xứng quanh số 0, là một đặc điểm chính. Thuộc tính này có thể có lợi trong một số kiến trúc mạng nơ-ron vì nó giúp tập trung dữ liệu, có thể giúp việc học cho các lớp tiếp theo hiệu quả hơn.

Trong bối cảnh của mạng nơ-ron, các hàm kích hoạt như Tanh được áp dụng cho tổng trọng số của các đầu vào trong một nơ-ron. Điều này đưa tính phi tuyến tính vào mạng, cho phép nó mô hình hóa các mối quan hệ phức tạp trong dữ liệu mà các mô hình tuyến tính không thể. Nếu không có các hàm kích hoạt phi tuyến tính, về cơ bản, một mạng nơ-ron sâu sẽ hoạt động giống như một perceptron một lớp, hạn chế khả năng học của nó. Bạn có thể khám phá các hàm kích hoạt phổ biến khác như ReLU (Đơn vị tuyến tính chỉnh lưu) và ReLU rò rỉ trong thuật ngữ của chúng tôi để hiểu sự khác biệt và các trường hợp sử dụng của chúng.

Sự liên quan và ứng dụng trong AI/ML

Tanh đặc biệt hữu ích trong những tình huống mà đầu ra của một neuron cần phải vừa dương vừa âm. Một số ứng dụng chính bao gồm:

• Mạng nơ-ron hồi quy (RNN): Tanh thường được sử dụng trong RNN, đặc biệt là trong mạng Bộ nhớ dài hạn ngắn (LSTM) và Đơn vị hồi quy có cổng (GRU) . Trong các kiến trúc này được thiết kế để xử lý dữ liệu tuần tự như văn bản hoặc chuỗi thời gian, Tanh giúp điều chỉnh luồng thông tin qua mạng. Ví dụ, trong các tác vụ NLP như tạo văn bản hoặc dịch máy , Tanh có thể được tìm thấy trong các lớp ẩn của RNN.
• Mô hình sinh: Trong một số loại mô hình sinh , trong đó đầu ra mong muốn có thể trải dài cả giá trị dương và âm, Tanh có thể là lựa chọn phù hợp cho lớp đầu ra hoặc trong chính mạng sinh. Ví dụ, trong một số loại mô hình khuếch tán được sử dụng để tạo hình ảnh hoặc âm thanh, Tanh có thể được sử dụng trong các khối mạng.

Trong khi ReLU và các biến thể của nó đã trở nên phổ biến hơn trong nhiều ứng dụng học sâu do tính đơn giản và hiệu quả của chúng trong việc đào tạo các mạng sâu, Tanh vẫn là một lựa chọn có giá trị, đặc biệt là khi các đầu ra có tâm bằng không có lợi thế. Việc hiểu các thuộc tính của các hàm kích hoạt khác nhau là rất quan trọng để thiết kế các kiến trúc mạng nơ-ron hiệu quả cho nhiều tác vụ AI và ML khác nhau.