彻底搞懂深度学习-循环神经网络_RNN_LSTM_GRU__动图讲解

想象一下，如果你在阅读这篇文章时，每读完一个词就忘记前面的内容，你还能理解文章的意思吗？这正是传统神经网络面临的问题——它们没有记忆能力。

处理完一个输入后，就完全忘记了之前的信息。这种设计在处理图像等任务时没问题，但面对文本、语音、时间序列等需要上下文的数据时就力不从心了。

循环神经网络 (RNN) 的出现，让神经网络有了记忆。

RNN, LSTM, and GRU: Why Do We Need Them?

1. RNN - 神经网络有了记忆

RNN 最大的突破是引入了循环连接——网络的输出会作为下一步的输入，形成一个**“记忆循环”**。

Unraveling the Wonders of Recurrent Neural Networks (RNNs): A Deep Dive into Sequential Learning | by Utsav Raj | Medium

RNN 的工作过程其实很直观。每当遇到一个新的输入时，RNN 首先会将这个输入与上一时刻的记忆状态结合起来。就像人在理解新信息时，总是会结合之前已知的信息一样。

RNN 在每个时间步都做三件事：

理论很美好，现实很骨感。RNN 有两个致命缺陷：

梯度消失：就像传话游戏，信息传得越远越失真。RNN 很难记住太久远的信息。

信息瓶颈：所有信息都要压缩到一个固定大小的"记忆盒子"里，早期的重要信息容易被后面的信息冲掉。

这些问题让 RNN 在处理长序列时表现很差。正是这些局限催生了 LSTM 的诞生。

面对 RNN 的问题，研究者们有了一个关键洞察：记忆应该是有选择性的。就像人脑处理信息一样，我们不是机械地记住所有东西，而是会主动丢掉不重要的信息，重点记住关键内容，并且根据需要决定输出什么。

这种**"选择性注意"的思想听起来是不是很熟悉？没错，后来大火的 Attention 机制本质上就是 LSTM 这套门控思想**的发扬光大。

可以说，LSTM 是注意力机制的"祖师爷"，只不过 LSTM 是在固定的时间流中做选择——按时间顺序一步步决定记什么、忘什么，就像看电影时按剧情发展记住重要情节。

而后来的 Attention 机制则更灵活，它可以**“随意跳跃”**——比如在翻译句子时，可以同时关注原文中的多个词，不受时间顺序限制。

Illustrated Guide to LSTM's and GRU's: A step by step explanation | by Michael Phi | TDS Archive | Medium

细胞状态（Cell State） - 信息传送带：LSTM 的核心创新，像一条信息传送带在不同时刻间传递重要记忆。它解决了普通神经网络容易"健忘"的问题，让模型能记住很久之前的信息。
遗忘门（Forget Gate） - 记忆清理器：通过一个控制开关（输出 0-1 的数值）决定哪些旧信息需要遗忘。数值接近 0 表示"忘记它"，接近 1 表示"记住它"，帮助模型过滤掉无用的历史信息。
输入门（Input Gate） - 新信息筛选器：由两部分协作完成：
- 重要性判断：评估新来的信息哪些值得关注
- 内容提取：从新信息中提取有用内容
两者配合，将筛选后的新信息加入到长期记忆中。
输出门（Output Gate） - 回答控制器：决定在当前时刻应该输出什么信息。它会查看长期记忆库，选择与当前任务最相关的信息进行输出，而不是把所有记忆都说出来。