大模型正在“变小”？

Let's go!

文/程一章

来源/万点研究

WAIC2026刚刚结束，厂商们的大模型好像变了味儿。

去年大会上，企业还是比拼模型参数、榜单跑分，今年大家的关注点不再是“模型有多大”，而是“模型能干什么、能不能赚钱”？甚至仔细分辨后惊觉：厂商们都在搞轻量化部署，玩缩小的mini版本了。这是什么缘故？

回想一下，你有多久没在手机信号不好的电梯里，对着一个怎么叫都不应的语音助手干瞪眼了？或者，可能就在昨天，你开车进隧道，导航突然变哑巴。或者在飞机上想整理相册，发现那个“一键消除路人”的功能，因为没网而变成了灰色图标。我们似乎已经习惯了，真正的智能，总要依赖那朵远在天边的“云”。

但现在，一场静悄悄的革命正在发生。

那些曾经庞大到需要一整栋楼、耗费一个水电站发电量才能勉强运行的“超级大脑”——大语言模型、多模态大模型，正在被想尽办法“塞”进手机、汽车、个人电脑，甚至工厂里一只不起眼的机械臂里。研发人员和工程师们正在想尽办法，要让智能脱离网线，脱离信号塔，在手心、在身边，随时随地、毫无延迟地醒来。这好比把一个千亿参数的“猛犸象”，装进一个巴掌大的“冰箱”，还要保证它活着、能思考，狩猎干活比在野外还要精准利索。

这不是想象，这是一场正在上演的“科技大戏”。而驱动它的，不是某些个体的一意孤行，而是需求端的真实渴望凝聚成的产业共识。

云端的大脑，正在“下凡”

2022年底，ChatGPT横空出世，用一首诗、一段代码、一篇论文震惊世界。然后，所有人都记住了它背后那个骇人的事实：它需要一万张英伟达顶级显卡组成的算力集群，海量算力支撑着我们的对话。一直以来，这种模式运行得很好，直到现实世界给了技术人员三个响亮的耳光。

这三个耳光，一个比一个疼，一个比一个更接近真相。

第一个耳光，来自手机。

还记得2023年底到2024年初，手机圈的那场狂欢吗？三星Galaxy S24系列的发布会，最出风头的不再是摄像头像素，而是那个名叫“即圈即搜”的AI功能。你在屏幕上随意画个圈，圈出一个博主背的包、一张图片里的地标、一段文字里的知识点，手机马上告诉你这是什么、在哪买、怎么去。全程无需跳转浏览器，无需输入文字。而在这些功能背后，是高通骁龙和联发科天玑芯片在疯狂宣传可以本地运行的百亿参数大模型。

本地运行大模型，有何特殊？对于我们普通人的意义在哪里？又是一次毫无看点的槽点营销？

昨晚你拍的那段孩子第一次走路的视频，刚截图的股票账户和银行流水，你和伴侣那些私密火热聊天记录，这些数据，是绝对不能、也绝对不该被上传到任何一粒云端的字节。手机，几乎已经成为我们最贴身的数字器官，也成了倒逼大模型“瘦身”最凶猛、最不妥协的一股力量。

然后是汽车。这个耳光，带着呼啸声狂奔而来。

想象一个场景：你开着一辆搭载了最新智能座舱系统的电动车，时速120公里，飞驰在高速上。你随口说了一句：“有点困了，给我来点提神的，但别对着脸吹风。”这句话包含了多少层意思？首先是识别出你“困”了，然后是“提神”，大概率还需要联动空调、香氛、音乐。最后是“别对着脸”，这对空调出风口的精确分区控制、需要有着近乎对物理世界常识的理解。这一套组合拳，需要座舱系统在聊天似的对话中理解、并且精确执行，而不是生硬的给出“你好xx，打开空调、打开音乐...”。

从技术角度看，如果这句话要原封不动地上传到云端，经过一个千亿大模型思考，再生成指令传回车内，来回的延迟可能超过0.5秒。在办公室里，0.5秒只是弹指一挥间，但在时速120公里的车里，0.5秒，你或许已经开出近15米。当端到端AI大模型开始掌管自动驾驶的实时决策，每一毫秒都流淌着安全的份量，毕竟延迟和可靠性是物理定律，云端再强，也斗不过光速和基站信号。

车，必须是长轮子的、能独立思考的移动智能体。在安全的考量下，如何更快、更聪明地思考与行动，它的“大脑”就得长在车子自己身上。

第三个耳光，来自工厂。

如果有机会去长三角、珠三角那些被戏称为“黑灯工厂（无人工厂）”的地方看看，一定会颠覆你对传统印象中制造业的所有认知。比如这个场景：高速摄像头以每秒上百帧的速度扫过流水线上每一个电子元件，过去，这些海量数据要通过工业以太网汇聚到中央服务器分析，延迟不说，一旦网络抖动或者服务器过载，整条产线就得停下来等，等那个“大脑”给出指令。一等，就是真金白银的损失。

现在，边缘计算模块、各式内嵌了AI芯片的工控机里，一个轻量级的视觉检测大模型正在直接运行。它不联网，不依赖任何外部信号，只盯着眼前流水线上的产品，以人类无法企及的速度和精度，做出毫秒级的生死判决：合格、合格、合格……如有微米级划痕，剔除！这就像给每台机器都安上了一个独立的、不会走神、不会抱怨的质检老师傅的灵魂。工业智能的大脑，正在从中央机房，飞速下沉到每一根机械臂、每一个钻头、每一个传感器里。

这三个耳光，分别从隐私安全、物理极限、和成本效率三个维度，打出了一个无比清晰的结论：真正的智能，不能只是飘在天上的云，它必须像血液里的氧气一样，流淌在每一个终端设备里，随时待命。

这直接催生了一个听起来蛮不讲理的需求：工程师们能不能把那个在云端用成百上千张H100显卡、耗费堪比一个小镇电量的超级大模型，进行一场史无前例的“减肥手术”、做出一个缩小的mini版，然后优雅地、稳定地、强悍地，塞进一台手机、一辆车，或是一个巴掌大的边缘计算盒子里？

需求已经在砸门了。门内，一场让大模型“瘦身”的全球竞赛，就此鸣枪。

全球“瘦身”大赛：如何给大模型“抽脂”

瘦身，不能简单地粗暴手术，那样只会得到一个瘫痪在床的病人。模型玩家们在摸索中迅速达成了一个共识：我们要的不是一个瘦骨嶙峋、风一吹就倒的病秧子，我们要的是一个高度浓缩的、精力爆棚的、肌肉线条分明的“特种兵”。

对，我们需要一个被派去执行特定任务的专家。这就是方向。这场没有硝烟的“大戏”，各路门派的打法截然不同。

先看美国西海岸，OpenAI和Google这对老冤家，路线各有千秋。

OpenAI的策略最直接、也最商业：纵向分级，按质论价。在云端，最强大AI大脑之一GPT-4镇守高地。这个庞然大物负责探索智能的极限，去理解数学猜想、去写十四行诗。但OpenAI很快发现，全球几十亿用户，每天问得最多的问题，其实是“帮我起个炸鸡店的名字”、“把这篇会议纪要总结成三点”、“这段报错的代码怎么改”......让一个日理万机、时薪昂贵的博导，去回答一年级小学生的加减法，这不仅是智力资源的浪费，更是商业模型的灾难。

于是，GPT-4o mini来了。它在官宣时毫不避讳自己的定位：我们更有性价比，我们更轻更快。它的响应速度极快，而调用成本断崖式下跌了超过60%。虽然博学程度和老大哥GPT-4没法比，但在处理日常对话、文本摘要、客服问答、代码辅助这类高频、海量的任务上，效率高得惊人，让你几乎感觉不到差别。这就像你有一个诺贝尔奖得主的导师，还有一个聪明绝顶的博士生师兄，日常的困惑、作业难题，师兄三下五除二就给你讲明白了，随叫随到；而导师，则留在每年几次的关键答辩和战略方向把控上发力。

这就是分层，这就是效率。

而Google走的则是“全尺寸覆盖，软硬一体”的路子，更有“理工男”的浪漫。他们的Gemini模型，从一开始发布，就清晰地划分成了Ultra、Pro、Nano三个版本。野心呼之欲出，就是要像孙悟空的金箍棒一样，能大能小。Ultra对标人类知识边界，负责在各种学术榜单上屠榜；Pro是能干的“中产”，集成在Google Workspace全家桶里，帮你写邮件、做PPT；而最让竞争对手脊背发凉的，是那个最不起眼的Gemini Nano。

Gemini Nano被专门设计，甚至可以说是量身定制，用来在Android手机、平板等移动设备上原生运行的。Google的工程师们用了各种极致的蒸馏算法和量化技术，把“检测诈骗短信”、“智能回复建议”、“离线语音转录”这些最核心、最高频的AI能力，压缩成了一个小小的、高效的离线引擎。结果就是，当你用着搭载了Tensor G3芯片的Pixel 8 Pro手机，即便身处飞行模式，它依然能精准地帮你过滤掉垃圾短信，并在你记录语音备忘录时，瞬间给出文字的智能摘要，所有的计算都发生在你手中的这块芯片上，数据没有任何一比特离开过你的设备。

但巨头并非无懈可击。

视线回到国内，这里的创新汹涌澎湃，甚至演化出了更多元、更接地气的智慧。

说到把大模型做小并彻底开源，DeepSeek绕不过去。很多人不知道，这家公司的创始人，背景是量化交易。也许正是这种背景，让他们的基因里就带着对“效率”和“性价比”近乎偏执的贪婪追求。DeepSeek的策略更加极致，他们不仅发布对标GPT-4的顶级云端大模型，更是大力推出1.3B、6.7B这样可爱到犯规的“微型”模型矩阵。

这些“小东西”，专攻代码生成和数学推理。效果有多惊人呢？一个6.7B的代码小模型，在解决特定的Python函数编写、算法竞赛题上，速度风驰电掣，效果能媲美比自己大几十倍的模型。最关键的是，它们完全免费，开源，允许商用。这意味着，一个在北京回龙观出租屋里的三人极客团队，可以用自己攒的几千块钱的服务器，跑着一个水平堪比拥有三年经验的算法工程师的AI同事，24小时不知疲倦地帮他们写代码、查bug。Deepseek直接把“AI平权”的宏大口号，变成了小团队手里的生产力工具，这才是最可怕的力量。

如果说DeepSeek的哲学是“变小”，那么另一家当红炸子鸡Kimi，则重新定义了什么是“轻”。

事实上，Kimi杨植麟和他的团队，从一开始就在追问：制约当前AI应用的根本矛盾是什么？他们的答案是“内存”，或者更准确地说是“工作记忆”。人类的思维是线性的、连续的，开一场两小时的头脑风暴会，最后五分钟的总结发言需要调用前面每一句话的信息。这，就是长上下文的无价之处。

当初的AI，大部分是“金鱼记忆”，对话一长就开始胡言乱语，忘记你最初给它定的“你是我的法律顾问”的角色设定。Kimi没有急着跟风去发布一个7B的端侧小模型，而是把所有技术力量像激光一样聚焦在一点上：突破上下文的物理极限。

当其他模型还在炫耀自己能处理几十页PDF时，Kimi已经能一口气把你丢进去的3小时录音、100页的财报、50篇论文全部吞下，然后精准地回答你：“根据上次董事会的决议，和本次最新的竞品分析报告，我们的策略存在三点矛盾……”

这就是Kimi对“变轻”这件事的独特哲学解答。

别人需要搭建一个“大模型+向量数据库+检索增强生成工具+多智能体”的复杂系统才能完成的“阅读-理解-归纳”长文本任务，Kimi一个模型就全搞定了，这依然是“轻量化”，但轻的不是模型的体重，而是整个应用架构的复杂度和开发成本。这是在算法层面，用极致的深度，替代了系统层面堆叠的广度，是四两拨千斤的东方智慧，绕过了硬件限制的弯路。

而把这一切推向每一个具体消费者手中的，则是那些离硬件最近的玩家。

而面壁智能这样的新锐力量则代表了另一种极致的浪漫——把“小”本身当成信仰。他们推出的“小钢炮”系列端侧模型，甚至在只有几亿参数的情况下，就在一些基础的自然语言处理任务上展现了惊人的能力。它让我们看到一种可能：未来我们身边的AI，不需要个个都成为爱因斯坦。一个清楚知道所有衣服分类、能用最低磨损程序洗护真丝衬衫的洗衣机，一个能精准识别大米种类和新鲜度并自动调整火力的电饭煲，也许才是千家万户最需要的“哆啦A梦”。这就是专才的价值，这也是“变小”的真正市场纵深。

你看，无论是国外的分级分层、开源生态，还是国内的极致性价比、算法创新，全球的聪明大脑们，都在用自己的方式回答同一个问题：如何让强大的智能，摆脱云端的束缚，成为真正随身的、私人的、实时的、可触摸的能力。而所有的流派最后都殊途同归，归结为三个核心点：让顶尖天才当私教、在精度和效率的钢丝上跳舞、以及为特定场景而生。

聊到这里，产业的画卷似乎一片光明。但一个根本的、属于每个思考者的疑虑，一直悬在我们头顶，像一朵怎么吹也吹不散的乌云。

变小了，会变傻吗？——解开那个核心的结

模型体量“缩水”了，它真的还能像以前一样“聪明睿智”吗？

这个担忧太自然了，太符合直觉了，毕竟我们都信奉“大力出奇迹”。参数越多，神经元连接越密，模型越“渊博”和“聪明”，这几乎是过去几年AI发展的唯一铁律。从几亿参数的GPT-1，到千亿级别的GPT-3，再到据说突破万亿大关的GPT-4，智能的涌现，似乎是用算力的暴力堆砌出来的。现在你告诉我，要把一个千亿参数的模型，裁剪掉99%的“脂肪”，压缩成只有几十分之一大小，还要让它保持住那份让人拍案叫绝的聪明劲儿？这违反能量守恒吧？

对于这个尖锐的问题，业界的回答坦白得让人有些意外，但又逻辑严密得让人心安：如果强行压缩它百分之百会疯，但如果我们从一开始就不是定位“博导”培养、而是精心喂养一个“专才”呢？

这就是思维模式最根本、最革命性的转变，它颠覆了我们过去几年对AI发展的认知。过去，我们造的是一个又一个的“通用天才”，但当这个天才要被部署到你手机相册的“一键修图”功能里时，他99.99%的知识，都成了昂贵的、占用内存的“废物”。它唯一的工作，就是看着一张照片，在几毫秒内做出精准判断：哪些区域是废片？哪个人的眼睛可以闭眼修复？背景里那个乱入的垃圾桶，能不能毫无痕迹地擦除？它不需要懂得《量子世界》，它不需要会写离职信，它只需要成为全宇宙最懂你相册管理需求的世界第一专家。

在这个极其明确、不容置疑的目标下，所有看似无解的技术难题，都找到了破解的钥匙。

首先，知识蒸馏提供“一对一精英私教”，让大模型老师，把自己在解决问题时脑海里的“思考概率”，那个充满无数可能性的灰色地带也全部教给学生。

举个例子。你给云端的大模型老师看一张狗的照片。它的内心活动可能是这样的：金毛犬的概率是85%，拉布拉多的概率是10%，因为这两种狗的毛色和体型太接近了，还有5%的可能是某种我们还不认识的混血犬，因为它的耳朵形状有点独特。这个过程充满了丰富的弹性和对世界复杂性的敬畏，这就是宝贵的“暗知识”或者叫“软标签”。我们把这种带着温度、带着不确定性的思考过程，连同最终那个“这是金毛”的硬答案，一起教给“小模型”，小模型就学会了举一反三，学会了在信息不足时做出最合理的推断。

所以，“小模型”继承的是老师的智慧，而不只是老师批改过的作业本。

其次，我们给“小模型”实行了人类历史上最严格的“饮食管理”。它的参数体量，它的“脑容量”就这么大。业界现在的做法是，用现有的最强大模型，去专门合成一批最纯净、最高质量的“知识补品”。这批数据的因果链条清晰，逻辑推演严密，没有模棱两可，没有胡说八道。在合同条款审查、医学影像分析、代码安全漏洞检测这类关乎人命和财产的高精尖任务上，一个只吃“特供营养餐”长大的1B参数小模型，其表现的精准度和可靠性，可以轻松超越一个被整个互联网的嘈杂信息重度污染过的千亿大模型。

最后，还有一项堪称“欺骗大脑”的工程魔术，叫做量化感知训练。我们前面说了，大模型要跑在手机上，算力消耗必须暴降。这技术实现过程必然会带来信息的损失，就像把一张高清无损的母带压制成MP3，音质肯定会糊。但工程师们想出了一个绝妙的反向思维——模型“毕业”之后，在它“上学”的每一天就明确告诉它这个残酷的现实：“孩子，你以后要去一个信号有严重损失、设备很落后的基层连队里工作，想办法适应吧。”

于是，这个模型在长达数月的训练过程中，会自己主动去学习如何在“精度损失”这个恶劣环境下，依然能保留最核心、最关键要害的信息。它会进化出一种内在的“降噪算法”，学会用更少的比特位，去表达最丰富的特征。这项技术，使得现在运行在手机芯片上那个只有4-bit精度的AI画质增强模型，计算出的每一帧画面依然清晰锐利、色彩动人。

所以，那个最让我们揪心的结，终于可以解开了。

变小，不等于降智。它是以放弃“全知全能”为代价，换取在特定场景内的极致表现。一个只懂修复老照片的端侧模型，无法讨论康德哲学，但当它将你与已故亲人唯一一张模糊合影瞬间变得清晰、立体时，它完成了作为一个“专才”的最高使命。、

结语：消失的技术，无处不在的智能

把大象装进冰箱，我们做到了。靠的不是变魔术，而是一整套从理解需求、到重构技术、再到转变的系统性工程。

回顾AI模型的来时路，你会发现，推动这场宏大变革的，从来不是实验室里某个天才的灵光一现。驱动它的，是我们每个人心底最朴素、也最真实的需求。大模型拼命“变小”，它的野心，不是为了诞生一项可以被写入教科书的新技术指标。恰恰相反，它努力的终点，是为了让自己，完完全全地消失。消失在手机里，消失在汽车后视镜里，消失在工厂流水线每一次无声的快门里。最终，如盐溶于水，潜入我们生活的角角落落。

真正伟大的技术，就是你感受不到它的存在，却再也离不开它带来的那种，不动声色的妥帖。

这场关于“变小”的史诗级大戏，高潮远未到来。而每日伴随我们的手机、汽车，是距离这场科技风暴最近的前线。它，正在你我掌中，无声地惊雷。

本文由万点原创，如需转载、商务合作

请私信或加V沟通：微信号zzdmw5728