北京
分享至
Hopfield网络怎么实现联想记忆？这个问题在2020年有了一篇论文给出的数学答案。论文标题很直接：Hopfield Networks is All You Need。它做的事情，是把Hopfield网络的连续版本与Transformer的注意力机制在数学上等同起来。
联想记忆的核心是：给一个不完整的线索，网络能找回完整的记忆模式。Hopfield网络用能量函数来描述这个过程，模式被存储在能量景观的低谷里。输入一个残缺版本，网络顺着能量下降的方向滑动，最终落到某个低谷，也就是某段记忆。
2020年这篇论文的贡献在于，它把这一机制写成连续形式，并证明其更新规则与注意力机制的计算形式一致。注意力机制里查询与键的匹配、加权求和，在数学结构上对应着联想记忆的检索过程。
论文同时提供了可运行的Python示例，读者可以按代码复现这一对应关系。对于想从记忆视角理解注意力机制的人来说，这条路径比从矩阵乘法出发更直观。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
