北京
分享至
面试官问LSTM的门，很多人背得出"遗忘门、输入门、输出门"六个字，往下追问一句"为什么需要门"就卡住了。这道题真正的起点，是RNN的记忆问题。
RNN，循环神经网络（recurrent neural network），靠循环结构把上一步的信息带到下一步。听起来能记住历史，实际会衰减——序列一长，早期信息在传递中越来越淡，梯度消失随之出现。这就是RNN的记忆问题。
LSTM给出的解法是三个门，各管一件事：
- 遗忘门：决定遗忘程度，控制旧信息丢掉多少
- 输入门：决定写入，控制新信息进来多少
- 输出门：决定读取，控制这一步往外输出多少
三者配合，共同缓解梯度消失。注意是缓解，不是消灭——门控让信息有选择地保留，长距离依赖才有机会传下去。
面试里常被接着问的是GRU。GRU把遗忘门和输入门合并成一个更新门，参数更少，效果相近。这个对比几乎是标准追问：结构简化了，性能没掉多少，工程上就值得考虑。
再往下就是Transformer。素材把GRU与Transformer的异同列为对比项，说明这条追问链已经延伸到门控结构之外。RNN的记忆衰减、LSTM的三门分工、GRU的合并简化，是一条完整的知识线。
所以这道题别只背名词。先讲清RNN为什么会忘事，再讲三个门分别管什么，最后落到GRU为什么能少一个门。顺序对了，答案就立住了。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
