网易首页 > 网易号 > 正文 申请入驻

这张信息图,居然是8B开源模型做的??

0
分享至

最近,我的女娲.skill 和 Huashu Design 似乎太出圈了。

前者已经分别被腾讯、智谱、Kimi 旗下的龙虾产品作为默认 skill 之一,后者则是听闻很多公司都在研究我那个 skill 的设计逻辑

于是呢,我也没少在各个社交平台再去宣传介绍这些 skill 究竟是什么、工作原理如何。尤其是随着图像生成模型能力变强,我挺爱做类似下面这样的信息图来介绍我做的东西。


给你 5 秒钟,猜一下这张图是什么模型做的?

是 GPT-Image-2?

是 Nano Banana 2?

还是 Seedream 5?

答案揭晓——其实是商汤这周才开源的一个 8B 多模态模型:SenseNova U1

我猜很多人对这个模型还相当陌生,所以呢,我们再让它自己来介绍下自己


它叫 SenseNova U1,来自商汤

这个模型昨天刚开源,分两个尺寸,一个是 8B 的 dense 版本,一个是 A3B 的 MoE 版本,协议是 Apache 2.0,inference code 全开。

它背后的架构叫NEO-Unify。我来尝试简单解释下这个东西。一般主流的多模态模型处理任务的流程有点像请翻译官帮忙:图像先经过一个视觉编码器(Visual Encoder)翻成 token 给模型理解,模型生成的 token 再经过 VAE 翻回像素。U1 把这两个翻译官都辞了,让模型直接读原始像素、直接输出像素,自己学一套近乎无损的视觉表征。

商汤公布的官方分数也挺有意思。8B 这个体量,在图像理解和图像生成两条评测线上都拿到了开源同量级的 SoTA,部分指标接近商业闭源大模型。


最值得关注的是「信息图」这条专项。文字密度高、排版要求精准,这历来是生图模型的硬骨头。U1 在这个维度上的得分跟 Qwen-Image 2.0、Seedream 4.5 这种大模型基本持平,但延迟显著更低。


简单说,同样出一张 2K 信息图,U1 大概只要十几秒,对比 GPT-Image-2 这种闭源大模型的几十秒,单位时间能多出好几倍的产能。

为什么我会想试它

我对多模态生图模型这个赛道的看法,说起来挺简单。

一年前,文生图模型要跑出稳定的中文表现有多难,大家应该都有体感。直到最近,能把这件事真正做对的也只有 OpenAI、Google、字节这少数几家大公司,而且全是闭源大模型。

所以这周看到一个 8B 的开源小模型,敢把「信息图」当主打能力来发布,我是有点意外的。意外到想自己上手试试。

让我更感兴趣的是另一件事。本地能跑的小模型一旦质量上来,它的隐私性、速度、几乎零边际成本,正好能覆盖一些闭源 SaaS 难以触达的场景。

回到我自己。我最在意的是它能不能按我的 prompt 稳定复现风格,比如刚才那张女娲 skill 的 Anthropic 编辑风;以及能不能用合理速度批量出图,我的 agent workflow 里一次任务可能要 10-20 张图,每张多等 30 秒,整个链路就拖死了。

至于本地部署、可微调这些,我自己暂时没刚需。但我接触过的不少行业(医疗、金融、法务)确实非常需要本地能力,他们的素材根本不能上传到云。

这几件事里,前两件 GPT-Image-2 做得不错,后两件它做不到。这不是它的错,闭源 SaaS 本来就不是干这个的。

而 U1 刚好坐在了那个空位上。它在跑分上肯定打不过 GPT-Image-2 的单张极致质量,但它能跑本地、能被改造、还能在十几秒里出一张 2K 信息图。这就够了。

我让它做了什么

理论说完,看东西。

文章开头那张女娲 skill 的图,是我让 U1 做的第三张。我给它的 prompt 写得很具体:「米白底 ,炭黑手绘线,赤陶橙 强调色,三段式 16:9 横向布局,无 sci-fi 无暗模式……」也就是 Anthropic blog 的那种编辑插画风。它第一次跑就接住了。

然后我又让它做了一张更细颗粒度的「女娲三阶段」工作流图:


这种复杂版式 U1 处理得比我预期的稳定。

最近我在跟出版社合作,尝试做新一批带图解示例的橙皮书,所以这阵子比较频繁在测各种生图模型。U1 跑下来,速度和稳定性都比我预想的好。

它真正不一样的地方:图文交错

前面我让 U1 做的都是单张信息图。但它真正不一样的能力,其实是「图文交错」:一次输出里包含多张图和段落正文的连贯混排。

商汤管这个能力叫「带图思考」。模型在推理过程中自动生成中间示意图,把复杂逻辑可视化。这件事 GPT-Image-2、Nano Banana、Seedream 都做不到,它们都是「一次 prompt 出一张图」的单点能力。

举两个官方公布的例子。

「帮我设计几款适合的发型」:用户上传一张自己的照片,U1 不直接给图,而是先做面部特征分析,然后生成多种不同的发型推荐图,每张图旁边配一段为什么适合的解释,最后给一组对比图。


「设计一个建在海南万宁悬崖边的图书馆」:U1 自主构思并生成了四个不同视角的连贯建筑图(外部全景、低角度仰视、高空俯瞰、室内框景),每个视角配一段精准的设计说明,相当于一次给你完整的建筑设计交付。


这种能力很难在闭源 SaaS 上稳定实现。你得自己写一个 agent,让 LLM 调多次生图 API,再把图和文拼起来。而且人物在多张图之间未必一致。U1 把这件事压到了单模型一次推理里。

我自己也跑了两个测试。一个是给小朋友介绍怎么做飞机的4格漫画《第一次坐飞机》


另一个算是我的真实场景,在尝试给我新书《图解 Agent Skills》做配图。


让我意外的几件事:速度极快,基本是边想边出图;人物和风格的一致性维持得很好;最关键的是——一个8B 的开源模型同时具备这种程度的思考能力和图像生成能力,这件事老实说我之前没怎么见过。

对我来讲,最实用的场景是写橙皮书:一章里经常需要「概念 → 概念图 → 解释段落 → 对比图 → 总结」这样的混排。以前要在 LLM 和生图 API 之间来回切,现在 U1 一次就能出整页。

它的真实边界

当然,U1 也不是没有短板。

我让它换种风格,做一张「达尔文.skill」的循环结构图。这次要的是技术蓝图风、深色背景、循环箭头加 8 个评分维度环绕。它出来是这样:


有几件事值得说一下。

这张图跟前面女娲那张的 Anthropic 编辑风完全是两套体系。同一个模型能在不同风格之间切换,说明训练语料的数据还挺丰富,这也意味着它更有机会执行不同需求的人物。很多模型有强烈的默认风格倾向,怎么都掰不出来。

文字渲染也挺让我意外。这种环形排列还能基本不出错,挺难得的。我之前用别的模型试过类似layout,文字常常错位。

不过 U1 也确实有少量错字。比如让它写 Karpathy 这个名字,它会写成 Karpthy;让它写「蒸馏」的「馏」,常常写成「漓」。这些都是 prompt 工程可以绕开的小问题,把 Karpathy 改成「卡帕西」、把「蒸馏」改成「提炼」就行。

但这些边界相对都不致命。真正重要的是它让我能用一个 8B 的开源模型,在本地跑出可以直接用的书籍级配图。这件事两个月前我都不敢想。

这个模型适合谁、适合什么场景

那 U1 真正适合谁用?我自己想了下,几个最直接的场景:

自媒体和独立创作者。每天要出文章配图、信息图、海报,U1 的速度让「试 10 个版本选 1 个」变成可行的工作流,试错成本接近零。

有数据敏感性的行业:医疗、金融、法务,或者做内部知识库、内部培训材料的团队。本地部署最大的好处就是内部数据不上云,闭源 API 在这些场景下直接是 deal-breaker。

Agent 长链路场景。一个任务要生成 10-50 张图(教程、报告、绘本、漫画都可能),调 GPT-Image-2 走 API 不仅贵还慢,U1 跑本地几乎零成本,就让这种链路真的能跑通。

商汤自己也提了一嘴,下一步会把 U1 接入「办公小浣熊」。这其实就是上面这些场景的产品化路径。

怎么上手

想试的话,有几个入口:

  • 在线体验:sensenova.sensetime.com(每天 5 小时、1500 次的免费配额)

  • 开源代码:github.com/OpenSenseNova/SenseNova-U1

  • HuggingFace:huggingface.co/collections/sensenova/sensenova-u1

模型本身 8B,对硬件要求其实不算高。性能稍好一些的本地机器都能跑得动,不需要专业卡。官方文档里说支持 vLLM 和 sglang,已经在用这些工具的同学应该能很快跑起来。

最近一年,多模态模型的发布我看了不下三十轮,每一轮都在说自己是 SoTA、是颠覆、是革命。U1 这次没说那么多大词,但它把 Visual Encoder 和 VAE 都砍了。这种敢于重新画路线的事,在已开源的多模态模型里其实不常见。

它现在还有边界,错字会有,复杂图表也不绝对稳定。但它给我的体感是:有些场景,确实从这周开始变得不一样了。以及我们完全可以期待他下一阶段的快速进化。

至少,我下一本橙皮书的配图,可能不再需要走 API 了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩国短道速滑选手金建宇个人账号发讣告,称其于9月23日突然离世,年仅28岁;其3个月前退役,和林孝埈是多年好友,曾获世锦赛接力银牌

韩国短道速滑选手金建宇个人账号发讣告,称其于9月23日突然离世,年仅28岁;其3个月前退役,和林孝埈是多年好友,曾获世锦赛接力银牌

大风新闻
2026-09-23 09:13:14
苹果高管:不建议给iPhone贴膜,希望用户直接体验原厂屏幕,有人敢真的裸机用iPhone?

苹果高管:不建议给iPhone贴膜,希望用户直接体验原厂屏幕,有人敢真的裸机用iPhone?

齐鲁壹点
2026-09-22 19:52:35
台湾网红“馆长”在直播中表示,未来将不再组织赴大陆的活动,因为来一次亏一次,高昂的成本实在烧不起

台湾网红“馆长”在直播中表示,未来将不再组织赴大陆的活动,因为来一次亏一次,高昂的成本实在烧不起

人生录
2026-09-21 16:43:29
3换1交易!老鹰送出希尔德+内姆哈德+现金 从黄蜂换来芬尼史密斯

3换1交易!老鹰送出希尔德+内姆哈德+现金 从黄蜂换来芬尼史密斯

罗说NBA
2026-09-23 06:05:52
两局狂轰11-1!18岁张本美和怎么也没想到,孙颖莎王曼昱这两座大山还没翻过去,如今国乒这位22岁白纸骑兵又成一大难题!日媒连夜警告

两局狂轰11-1!18岁张本美和怎么也没想到,孙颖莎王曼昱这两座大山还没翻过去,如今国乒这位22岁白纸骑兵又成一大难题!日媒连夜警告

小七说篮球
2026-09-22 17:05:27
歌手潘玮柏公布病情

歌手潘玮柏公布病情

蓬勃新闻
2026-09-22 17:03:38
昆明一餐馆门口彩绘遭人用白漆损毁!经调查,损毁壁画的人竟是……

昆明一餐馆门口彩绘遭人用白漆损毁!经调查,损毁壁画的人竟是……

都市条形码
2026-09-22 16:06:06
第一集就要打码,HBO把美剧拍明白了

第一集就要打码,HBO把美剧拍明白了

来看美剧
2026-09-22 21:26:15
微博大V“理记”疑似被禁言90天

微博大V“理记”疑似被禁言90天

三言科技
2026-09-22 23:06:10
曝朝鲜亚运会代表团2人不愿回国!想留在日本+寻求庇护 不去韩国

曝朝鲜亚运会代表团2人不愿回国!想留在日本+寻求庇护 不去韩国

念洲
2026-09-23 07:30:43
美方突然宣布!抹黑中国的它,一下子尴尬了……

美方突然宣布!抹黑中国的它,一下子尴尬了……

环球时报国际
2026-09-23 08:14:07
亚运会乒乓球:世界亚军出局!1:3早田希娜,张本美和3:0锁定奖牌

亚运会乒乓球:世界亚军出局!1:3早田希娜,张本美和3:0锁定奖牌

国乒二三事
2026-09-23 06:48:25
雷军回应“打新宇树赚了100多亿”

雷军回应“打新宇树赚了100多亿”

界面新闻
2026-09-22 12:57:06
罗永浩宣布播客暂停更新:目前已卷进舆论漩涡 为了避免连累嘉宾

罗永浩宣布播客暂停更新:目前已卷进舆论漩涡 为了避免连累嘉宾

快科技
2026-09-23 07:15:06
伊朗释放缓和信号:若美国停止攻击,愿在7天内重开霍尔木兹海峡

伊朗释放缓和信号:若美国停止攻击,愿在7天内重开霍尔木兹海峡

财闻
2026-09-22 18:37:38
约快递员上门取件,15岁女儿按母亲指示从5楼往下扔快递时坠亡,父母起诉索赔74万,法院:四方均有错

约快递员上门取件,15岁女儿按母亲指示从5楼往下扔快递时坠亡,父母起诉索赔74万,法院:四方均有错

天涯社区
2026-09-22 17:26:01
“奥迪告奥迪”的背后:倒爷抢进德国,谣言留在中国

“奥迪告奥迪”的背后:倒爷抢进德国,谣言留在中国

大众侃车
2026-09-22 16:02:13
敬一丹去世后个人账号“节气”系列继续更新,配有本人朗诵随笔集的语音,网友留言:您从未走远

敬一丹去世后个人账号“节气”系列继续更新,配有本人朗诵随笔集的语音,网友留言:您从未走远

极目新闻
2026-09-22 22:57:35
河北男子与女同事开房兴奋过度,脑出血成植物人,家属竟向公司索赔38万!

河北男子与女同事开房兴奋过度,脑出血成植物人,家属竟向公司索赔38万!

天气观察站
2026-09-22 21:09:56
网传小米外包员工领中秋月饼遭拒:大厂外包,原来是最体面的职场二等公民

网传小米外包员工领中秋月饼遭拒:大厂外包,原来是最体面的职场二等公民

觉叔说
2026-09-22 12:58:32
2026-09-23 10:28:49
AI进化论花生 incentive-icons
AI进化论花生
AI博主,AppStore付费榜第一的小猫补光灯app开发者
275文章数 129关注度
往期回顾 全部

科技要闻

2026网易未来大会上午场:科技如何破界

头条要闻

特朗普或亲自前往机场迎接中国元首 专家披露背后原因

头条要闻

特朗普或亲自前往机场迎接中国元首 专家披露背后原因

体育要闻

奖牌榜:中国单日再夺9金 合计32金13银8铜

娱乐要闻

梅启明被彻底除名遗产清零

财经要闻

特朗普:中选后有望与伊朗达成协议

汽车要闻

东风日产新N7上市限时权益价10.99万起 实现33项升级

态度原创

游戏
数码
房产
亲子
军事航空

《怪物猎人 荒野:凌越》制作人TGS访谈:本篇的正统进化

数码要闻

Goodram推RIVAL Charge DDR5内存:单条至高32GB,可选6800CL34

房产要闻

重磅官宣:拆1.6万亩!海口,史无前例!

亲子要闻

杜克大学最新发现:肠道菌群与早产儿生长不良有关,“调菌”或成干预新方向

军事要闻

韩国最新型潜艇首次披露

无障碍浏览 进入关怀版