递归神经网络（RNN）

RNN 如何工作

RNN 的核心理念是能够保留序列中先前步骤的信息，从而影响当前和未来步骤的处理。这是通过隐藏状态来实现的，隐藏状态就像一个存储器，捕捉迄今为止已处理过的信息。在序列中的每一步，网络都会利用当前输入和之前的隐藏状态产生输出，并更新其隐藏状态。这种循环连接使网络能够表现出动态的时间行为，这对于时间序列分析或自然语言处理（NLP）等涉及序列的任务至关重要。您可以在斯坦福大学 CS230 课程材料等资源中探索有关 RNN 的基础概念。

实际应用

RNN 在推动各种人工智能应用方面发挥了重要作用：

• 自然语言处理（NLP）：广泛用于机器翻译等任务，其中理解词序对准确翻译至关重要；情感分析可从文本中判断观点；语言建模可预测句子中的下一个单词（如智能手机键盘中所示）；以及文本生成。
• 语音识别：RNN 处理音频特征序列，将口语转录为文本，是许多语音转文本系统和虚拟助手的支柱。相关概述可查阅维基百科的语音识别页面。
• 时间序列预测：应用于金融领域的股市预测、天气预报，以及通过学习随时间变化的模式来分析物联网设备的传感器数据。

RNN 与其他网络架构的比较

要了解 RNN，就要将其与其他神经网络类型区分开来：

• 卷积神经网络（CNN）：RNN 擅长处理时间序列，而 CNN 则专门处理网格状数据，主要是图像中的空间层次结构。CNN 可完成图像分类和物体检测等任务，为以下模型奠定了基础 Ultralytics YOLO.CNN 通常独立处理输入，缺乏 RNN 的固有记忆。探索各种物体检测架构，了解 CNN 的应用。
• 变形器较新的架构（如 Transformers）利用注意力机制，在许多 NLP 任务中已在很大程度上超越了传统的 RNN。它们能更有效地处理长程依赖关系，并在训练过程中实现更高的并行化。BERT和GPT等模型就是基于 Transformer 架构。向这些模型的转变是物体检测和视觉人工智能发展的一部分。

变体与挑战

由于存在梯度消失或梯度爆炸等问题，标准 RNN 在学习长程依赖关系时会很吃力。为了缓解这些问题，人们开发了更复杂的变体：

• 长短期记忆（LSTM）：引入门（输入、遗忘、输出）来控制信息流，使网络能够有选择地记忆或遗忘长序列的信息。
• 门控循环单元（GRU）：LSTM 的简化版，参数（更新门和复位门）较少，在许多任务中通常能达到相当的性能。

框架，如 PyTorch和 TensorFlow等框架提供了这些 RNN 变体的实现。

虽然像变形金刚这样的新架构已在许多领域占据主导地位，但 RNNs 仍然是深度学习的重要基础概念，在特定应用中或作为更大混合模型的组成部分时仍然具有相关性。了解它们的机制可以为人工智能中序列建模的发展提供宝贵的见解。为了进一步探索，DeepLearning.AI 专业等资源详细介绍了 RNN。您可以使用Ultralytics HUB 等平台管理和训练各种模型，包括可能包含 RNN 组件的模型。