北京
问一个内部HR机器人"远程办公政策是什么"，它给出的答案来自一份2024年的旧文件，而最新的一页纸更新就躺在同一个知识库里。余弦相似度给旧文档打了0.89，给新政策打了0.82——写得越详细、篇幅越长的那份，分数越高。传统向量数据库没有时间感知能力，检索层把过期文档原样交给大模型，模型用百分之百的自信合成一个错误答案。
这就是陈旧向量陷阱：向量库检索出数学上相关、但事实上已过期、被取代或已删除的嵌入向量。当向量存储在生产环境里跨月运行、又没有血缘同步机制时，旧的合规备忘录会稳定地覆盖当前修订版本。
向量衰减是怎么发生的
向量衰减指的是检索准确率的无声退化，根源在于主非结构化数据源与其下游向量嵌入之间，缺少时间血缘和生命周期同步。多数企业RAG管道是按单向ETL任务搭起来的：脚本从SharePoint里抽出文档，切成512个token的块，生成嵌入，塞进向量索引。文档在源头被更新或删除之后呢？什么都不会发生。
被删除的"Policy_2024.pdf"在源文件系统里已经不存在，但它的向量块还留在索引里。这些孤儿向量与原始来源断开了连接，没有版本标记，除非暴力全量搜索，否则根本追踪不到。余弦搜索照样能命中它们，PII照样暴露在外，过期条款照样被端给用户。
为什么不能直接全量重建索引
全量重建在企业规模下经济上不可行。当一家组织持有4000万个分块向量、横跨15个企业数据存储时，一次完整的重新嵌入要烧掉数万美元的GPU token成本，并造成36小时的管道停机。需要的是增量的、原子级的文档生命周期更新，而不是推倒重来。
要消除陈旧向量，有三条工程规则必须落到向量存储引擎内部，靠提示词工程解决不了数据衰减。
- 每个向量载荷都嵌入双时间元数据。插入原始向量块时必须带两个不同的时间维度：事务时间（sys_time），即该块写入向量数据库的时刻；有效时间（valid_time），即底层信息在法律或运营意义上真实成立的真实世界窗口。当新合同或新政策取代旧版本时，摄取管道更新旧版本的valid_to时间戳，而不是直接删除它。
- 通过CDC实现实时加密墓碑标记。在企业文档仓库上部署变更数据捕获监听器，例如Kafka上的Debezium。源文档被修改或删除时，CDC事件立即向向量数据库发出墓碑记录，翻转该块的操作状态。查询时，检索网关注入一条不可协商的元数据过滤条件：status == "active" AND valid_to >= NOW()。过期条款在余弦打分开始之前就被剔除。
- 建立严格的血缘哈希表（父子倒排）。维护一个外部键值注册表，把每个源文档哈希映射到它的子块向量ID。当法务发出GDPR被遗忘权请求，或高管撤销一份机密备忘录时，查询血缘注册表并对精确的向量ID执行定向批量删除，耗时12毫秒，无需重建整个数据库。
这个月该审计的三项能力
在下一次企业风险委员会评审之前，可以要求验证三件事：孤儿向量比率，把主文件存储中的文档总数与向量数据库中出现的唯一文档ID数量做对比，差异超过5%就意味着严重的索引衰减；确定性删除验证，在SharePoint里删掉一份测试文档，60秒后跑自动探针，确认它的向量块已经无法被检索；时间过滤合规性，确认RAG检索中间件在每一次用户查询上都注入了自动的日期有效性检查。
向量数据库是搜索引擎，不是数据库。它们不知道现在几点，不知道昨天谁编辑过文档，也不理解一份2024年的政策已经死了。用单向管道把非结构化文本喂给语言模型，等于让它长期进食企业的数字腐坏物。非结构化文本值得和核心SQL数据库同等的交易级严谨：强制血缘、跟踪有效期、埋葬死向量。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
