权重只有-1、0、+1，模型为什么还能学会东西？

训练时就把量化塞进循环里，模型会自己找到能扛住舍入误差的权重。这条路最终通向BitNet：每个权重只有-1、0或+1。要理解它，得先回到量化感知训练（QAT）的基本盘。

常规训练找到一个损失足够低的点就收工，不再关心这个点周围的损失形状。所谓形状，指的是把权重从极小值挪开一点，损失会以多快的速度反弹。这在标准流程里没问题，因为模型发布之后权重就不再动了。

量化打破了这个前提。每个权重最终会落在训练留下的位置附近一个误差范围δ内，这是量化带来的权重偏差。于是重要的不只是极小值处的损失有多低，还有离开极小值之后损失爬升得有多快。

在极小值附近斜率为零，权重被挪动δ带来的损失增量约为ΔL ≈ ½ · H · δ²，H是曲率，也就是损失随权重变化的速度。两个损失相同的极小值，行为可以完全不同：尖锐的极小值曲率大，一点舍入误差就要付出很大损失；宽阔的极小值曲率小，同样的误差几乎无关痛痒。

所以QAT同时优化两件事：低损失，以及极小值周围平缓的曲率，让量化误差被控制在可承受的范围内。

这里有个坎。舍入操作几乎处处梯度为零，反向传播从它身上学不到任何东西。解法是直通估计器（STE）：前向传播用量化后的值，反向传播假装舍入是恒等函数，把梯度直接放过去。

模型用舍入后的权重做计算，优化器更新的却是底下那份全精度权重。这个思路要记住，BitNet把它推到了极限。实践中QAT通常能赢过训练后量化（PTQ），在4比特这类低比特宽度下差距最明显。

线性层是神经网络最基本的积木：输入一个向量，乘上一个学到的权重矩阵，输出一个新向量。模型绝大部分参数就是这类权重矩阵里的元素。权重是存下来的、学到的数字，训练完就固定；激活值是某个输入在模型里流动的数字，每个token都在变。正常模型里两者都是FP16。

Transformer是一摞相同的块，每块两部分，带权重的地方几乎都是线性层。注意力里有四个：Q、K、V投影和输出投影，中间那步softmax(QKᵀ)V是把两组激活值相乘，没有存储权重，不算线性层。前馈网络里有两个：上投影和下投影，中间夹一个GELU非线性。BitNet盯上线性层，就是因为压缩了它们，模型就小了。

BitNet把大部分Linear换成BitLinear，任务不变，还是输入乘权重，但进去的数字小得多。乘以+1或-1只是保留一个数或翻转它的符号，矩阵乘法就塌缩成加减法。乘法是芯片最昂贵的操作之一，这一步同时省下时间、能耗和内存。

两边都量化会丢掉尺度信息：一个±1的权重不再说明原来的数值有多大。所以BitLinear保留两个缩放因子，一个给权重，一个给激活值，最后用它们把结果拉回正确的量级。

具体配方是：输入从FP16量化到INT8，用absmax缩放，放在LayerNorm之后，让激活值有稳定的尺度可量化；权重二值化，取权重均值α，高于它的变+1，低于它的变-1，先做中心化能让正负号大致平衡；用整数输入和±1权重做矩阵乘，主要是加法；最后用激活缩放和权重缩放β（权重绝对值的均值）反量化输出。这是两个量化器叠在一起，一个管激活，一个管权重。

既然训练就是在学哪些权重该开、哪些该关，为什么不直接存1个比特？因为梯度。二值化函数是sign()，梯度处处为零，零点处未定义。如果权重只是比特，梯度下降没有任何东西可更新。

所以和QAT一样，模型保留高精度的潜权重，论文里实际用FP16/BF16训练。循环是这样的：保留一份全精度潜权重；前向用sign二值化，用±1版本计算；反向走STE，梯度落到潜权重上；更新潜权重。

有人会以为潜权重是INT8，这行不通。学习率很小，INT8权重上的一次微小梯度步会被舍入回同一个整数，更新直接消失。潜权重需要足够的分辨率，去累积许多次微小推动，直到某一次终于把符号翻过来。推理时只需要±1版本，潜权重是训练期的脚手架。

那1比特是不是个幌子？论文说模型越大，BitNet越接近FP16质量，这听起来像是只要模型够大、节省就消失了。并非如此。节省是按参数算的：1比特模型可能需要更多参数来匹配质量，但每个参数最多小16倍，只有当需要的参数超过16倍时才会失效。论文呈现的趋势是，质量差距随模型规模缩小。

后续论文《The Era of 1-bit LLMs》（BitNet b1.58）发现，纯1比特要匹配全精度质量需要很大的规模，作者于是加了一个状态：零。权重变成-1、0或+1。

零让一个权重可以说“这条连接不重要”，而不必被迫把输出往上或往下推。权重矩阵的表达力提升了，代价几乎为零。配方是：算权重绝对值的均值γ，每个权重除以γ后舍入到-1、0、+1中最接近的一个。等价地说，|w|大于γ/2变+1，w小于-γ/2变-1。这叫absmean量化，激活值改用对称的absmax量化，围绕零缩放，而不是之前的0到最大值区间。训练设置其余部分，包括潜权重和STE，都不变。

拿五个权重举例：w = [0.9, -0.3, 0.05, -1.2, 0.4]。那个很小的0.05在1比特版本里被逼成±0.57，误差0.52；有了零可用，它的误差降到0.05，其余四个不变。

“1.58”这个数字来自信息论：三个状态需要log2(3)≈1.58比特的信息量。硬件存不了1.58比特，实际实现要打包。最简单的打包是每个权重2比特；更紧的一种把5个三值塞进一个字节（3⁵=243≤256），合每个权重1.6比特。所以1.58是理论值，实际存储略高于它。相对FP16，每个参数大约小10倍。

把这条线收一下：PTQ舍入一个训练完的模型；QAT把舍入放进训练循环，让模型自己找到能活下来的权重。它成立的原因是几何——偏好宽阔的极小值，低曲率让量化误差代价很小。舍入没有梯度，于是用STE并保留高精度潜权重来累积微小更新。BitNet用sign()落实这套做法，b1.58再加一个零，用absmean缩放，换来更好的质量与体积权衡。