浙江
基础模型规模扩张面临记忆与算力压力，神经科学启发的结构先验重新受到关注。近日，中国科学院自动化研究所徐波、李国齐团队完成题为《Dendritic computation bridges neuroscience and foundation models》的研究，该研究把简化树突神经元与线性注意力统一为输入驱动状态更新，提出稀疏线性注意力SparseLA及混合注意力模型SparseLA-H。
研究团队用电缆理论保留树突形态约束，把离子通道动态简化为输入依赖的状态衰减，使隔室电位更新能够写成矩阵形式并支持GPU并行训练。简化树突模型中的隔室电位、状态转移矩阵、输入电流和突触连接，分别对应统一线性注意力的记忆、衰减矩阵、键和值，二者都按衰减旧状态并写入新输入的方式更新内部状态。自注意力在循环推理中把每个时刻的键值追加到缓存，线性注意力则以固定大小记忆覆盖更新，树突视角把前者看成新增隔室显式存储，把后者看成固定隔室按输入更新。这一类比把SSM、LinRNN和LinFormer等线性基础模型纳入同一线性注意力框架，也为分析其生物合理性和计算效率提供了可操作的坐标。
研究团队按隔室连接方式归纳出三类状态转移矩阵，Case1为多分支单隔室的对角矩阵，Case2为树状多分支多隔室结构，Case3为单分支全连接稠密矩阵。现有线性注意力多落在Case1或Case3.2，前者见于GLA、Mamba和xLSTM，后者见于DeltaNet、RWKV-7和Gated DeltaNet，Case2这种更接近真实树突的形态尚未进入线性注意力设计。基于Case1的方向选择性，他们提出SparseLA，用输入依赖的top-k策略只更新部分分支，并让未选中分支保持衰减系数为一。基于Case3.2的多分支扩展，他们提出SparseLA-2，把单分支全连接改成多分支块对角连接，两类设计在提升生物合理性的同时降低了状态更新的稀疏计算成本。
在四类任务和八个数据集上，研究团队比较了Conv、MLP、自注意力和六种线性注意力，静态图像中自注意力与Conv表现接近，神经形态语音和动作识别中线性注意力取得最高准确率，MQAR检索中二维矩阵记忆明显优于一维向量记忆。语言建模从400M、1B到3B参数用300B token和8k序列预训练，SparseLA在常识推理与SCROLLS长文本任务上多数设置超过LLaMA2等Transformer和线性基线，NIAH检索显示Transformer擅长逐字记忆，SparseLA的稀疏记忆增强了线性模型的检索容量和外推能力。SparseLA-H采用48个块、每8块插入自注意力的混合架构，总参数60B、每token激活9B，预训练上下文扩展到4M，并在NIAH任务中处理50M token，约合40卷莎士比亚。训练和推理测试中，SparseLA相对自注意力的效率优势随序列长度增加而扩大，这为超长上下文基础模型提供了可扩展的树突启发方案。
READING
BioPeers
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
