网易首页 > 网易号 > 正文 申请入驻

SenseNova U1.5 Lite正式版发布:支持超长指令,解锁原生4K真实视觉创作流

0
分享至



今天,商汤科技正式开源轻量级、原生统一多模态大模型 SenseNova U1.5 Lite。与预览版(U1.5 Lite Preview)呈现的原生统一多模态模型能力相比,正式版更关注的是,这些能力能否更准确、更稳定地进入真实视觉创作流程。

模型重点围绕真实视觉任务重新完善训练数据、任务设计与后训练流程,强化视觉质量、复杂指令遵循、文字与布局、原生4K、图像编辑和精细视觉控制等,提供更高可控性、更高清、更高性价比的能力工具,推动 AI 视觉生成真正跨越到“稳定完成真实视觉交付”的新阶段。

目前模型已面向全球开源,开发者与创作者可直接部署体验。

更完整的视觉创作能力,告别AI创作瓶颈

“精心写了 25 分钟的详细 Prompt,模型却只能解析 1k 字符,不得不花半小时删减细节”;“只想改掉图里的一只杯子,AI 却把背景和主角的脸一起换了”。

这些几乎是每个创作者都遇到过的“崩溃瞬间”。过往几年,行业往往把重点放在卷“画面美感”和“写实感”上;但在实际生产流程中,真正的核心问题是:模型能否精准执行你的完整意图?

SenseNova U1.5 Lite 解决了这一难题:

•3-4k 字符超长复杂指令遵循:打破大多数开源模型在指令超过 1k 字符时易崩溃、遗漏细节的瓶颈。SenseNova U1.5 Lite 原生支持 3-4k 上下文长度,能够同时处理主体、数量、空间关系、文字、布局、风格等多重约束,提升复杂视觉任务的执行稳定性。

•更高质量的视觉生成:改善整体构图、色彩、材质、光影、真实感和局部细节,减少“局部正确但整体完成度不足”的情况。

•更可靠的原生图像编辑:增强主体身份、空间结构、版式关系和非编辑区域的保持,同时提升局部修改、元素替换、文字精修和多参考图编辑能力。

•更好的文字与复杂布局:加强中英文文字、海报、信息图、品牌视觉及多文本排版能力,从“生成内容”进一步走向“组织完整视觉表达”。

•更精细的视觉控制:支持 Bounding Box、Visual Marker 以及单图、多图参考等方式,对指定区域和对象进行更准确的编辑。

•原生4K高分辨率输出:在高分辨率生成中兼顾整体构图与极精细的肌理、微小文字与光影折射。

实战演练:真实场景深度还原

我们挑选了最能考验“硬实力”的创作场景,带你看 SenseNova U1.5 Lite 如何搞定真实交付。

场景一:复杂视觉表达

1、创意海报与封面生成:
展现出极佳的美学完成度与高对比度质感。具备高精度的复杂布局能力,可精准掌控文字与留白节奏;在处理文字与物体的空间遮挡时,能够维持光S影的自然连贯,充分展现了原生多模态对三维空间叠加关系的深刻理解。





2、高密度信息图生成:
保证中英文、数据等丰富细节的准确无误;通过多层级结构化空间映射,完美串联各类标签和信息,实现了复杂信息可视化图表的高质量一次性交付。



3、高清细节与艺术质感:
在建筑结构、人像肌理、艺术画作笔触等复杂场景中,展现出媲美摄影与大师画作的细腻质感。





场景二:原生图像编辑

1、布局与风格可控编辑

•草图/线稿转复古暖色漫画:精准遵循超长复杂指令,保留线稿分镜与人物轮廓,上色与材质补充自然细腻。

prompt:请把这张手绘草图渲染成一幅复古暖色调的手绘漫画风格插图,背景带有米黄色纸张质感,整体光影温馨,突出烛光下的专注氛围。构图上保持草图的版式,中心是主场景,周围环绕五个带编号的分镜面板。左上角用巨大的毛笔字体写上主标题“敲击灵魂的机械轴”,下方加一个绿色标签写上“每一颗轴,都是我与世界对话的方式。”。中心画面里,戴着护目镜的少年正在烛光下用螺丝刀组装键盘,桌上有印着“BUILD SOUL”的马克杯和散落的轴体,少年上方的对话框写“深夜の工作台,只有我、烛光,还有这些小家伙。”,旁边黑猫的对话框写“又在折腾键盘啊?喵~”。右上角的面板①展示绿色金属键盘外壳,标题写“① 选个靠谱的‘壳’!”,下面配文“定制金属外壳,沉甸甸的安全感!”。右侧中间的面板②展示四种颜色的机械轴体,标题写“② 挑选心仪的‘轴’!”,配文“红轴轻盈,茶轴均衡,青轴清脆...总有一款击中灵魂!”。右下角的面板③特写拔键器取下键帽的动作,标题写“③ 拔键器,yyds!”,加上拟声词“咔哒!”,配文“拔键、换轴、换键帽,自由才是机械键盘的浪漫!”。左侧中间的面板④展示一堆反光的透明键帽,标题写“④ 透明键帽,透出光芒!”,配文“灯光透过键帽的那一刻,整个世界都温柔了。”。左下角的面板⑤展示发出温暖背光的组装完成的键盘,标题写“⑤ 大功告成!”,配文“每一次敲击,都是灵魂的回响!”。底部中间的画面是少年兴奋敲击键盘的动态特写,加上绿色爆炸框文字“这就是属于我的声音!♡”,底部写上拟声词“哒哒哒哒哒!!”。右下角角落画一只小猫看着蜡烛,气泡里写“机械键盘的魅力,在于创造,更在于热爱。喵~”。



•跨主题迁移且保持排版:深度理解原海报的版式框架,切换主题后仍能保持完美的视觉结构。
prompt:沿用参考图的复古印刷风格,生成一张天文台公众开放日主题海报。



2、多参考图融合生成
•融合核心元素与场景重组:如“橘猫骑摩托坐在咖啡馆内”,提取多图核心特征(主体、风格、光影),在全新空间中自然重组,光影与比例浑然天成。





美食海报重组:多张美食图融合为一张完整海报,自动匹配一致的背景、餐盘质感与环境光,并完美植入排版文案。





•信息图参考元素替换:保留原海报中的所有元素,同时替换图中的乐队成员,并将下方板块重新排列,添加曲目和新的划线元素。
prompt:Edit Image 1 using Images 2 and 3 as content references rather than pasted rectangular images. Replace the framed band silhouettes with all five Radiohead members from Image 2, transformed into the poster’s distressed monochrome halftone style. Reflow the four lower feature blocks into a compact left column and add an ESSENTIAL LISTENING list on the right using Image 3 only for wording and hierarchy. Render the new list directly on the same continuous black distressed background with matching off-white type; do not retain any white or cream card background. Preserve all original text and all other poster elements.





3、信息图编辑
•变换风格主体保持不变:
prompt:将整张海报改为蓝银色高科技工业风,保持所有文字内容、机器人主体和信息布局不变。



•局部属性修改:
prompt:将植物周围Cd、Pb、Zn、Cu、As五个圆形标签改为砖红色,文字保持米白。



4、文字编辑
•黑板菜单局部文字替换:
prompt:将黑板菜单上“Summer Drinks”标题下方第一行、位于白色三角形符号右侧的黄色手写体文字“快乐柠檬水”替换为红色手写体文字“草莓啵啵奶茶”,保持原有粉笔质感和笔触风格,严格保留黑板上其余所有文字(包括价格5.00)、插图(柠檬、咖啡杯、冰棍)、木框结构及背景绿植环境不变。



•多处精准文字重写:

prompt:在画面中央超大砖红色主标题,将 "PEARL" 替换为 "HORIZON"。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在左上英文地点标题,将 "ORIENTAL PEARL TOWER" 替换为 "SHANGHAI LANDMARK"。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在左上英文地点副标题,将 "SHANGHAI, CHINA" 替换为 "CITY OF HARMONY"。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在右上中文地点标题,将 "东方明珠" 替换为 "城市之光"。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在左侧城市宣言第一句,将 "A SYMBOL OF SHANGHAI." 替换为 "A BEACON OF VISION."。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在右侧城市宣言第一句,将 "DESIGNED FOR HARMONY." 替换为 "BUILT FOR TOMORROW."。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在建筑底部中文大标语,将 "时代的瞭望 · 城市的明珠" 替换为 "城市的节奏 · 未来的地标"。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。

在底部英文宣言,将 "A LANDMARK OF VISION. A BEACON OF SHANGHAI." 替换为 "A LANDMARK OF TOMORROW. A BEACON OF THE CITY."。若该区域足够显眼、清晰且边界简单,则逐字呈现,不得增删或改写字符;若文字过小、被遮挡、严重透视或位于复杂纹理中,则保留原文,不要为完成替换而重绘背景。



5、指定区域与局部精细编辑
prompt:将红框中的“WHY IT MATTERS”模块完整翻译为中文,保留原有图标、层级和排版;红框仅作定位,输出中不要保留红框。



prompt:Follow the marks and overall hints on the image to creatively transform this scene, making it moody, sophisticated midnight lounge vibe; remove the annotations when done.



8B 参数架构突破:不只是“更多”能力,还是“更稳定”和“更高性价比”

作为8B参数的轻量化模型,SenseNova U1.5 Lite在指令遵循与图像编辑保持度上超越了同量级模型,并在文字渲染与复杂布局上达到了媲美超大规模商业模型的交付水平。



面对不同视觉任务,业界通常采用显式 Router(路由)或多专家协同机制将渲染、美学、编辑分发给不同模型。但这大幅增加了系统开销与推理时延。

SenseNova U1.5 Lite 基于NEO-unify统一架构,打破了这一传统定式:
•解耦训练与交付(MOPD 蒸馏):训练阶段针对文字、美学、编辑独立训练专家模型(Expert);交付阶段,通过多专家在线策略蒸馏技术(MOPD),将多专家能力无损融合至单体 8B 模型中。
•理解与生成双向反哺:视觉语义理解与空间建模形成的认知直接反哺生成,使其自然消化多层级指令,同时在多模态理解榜单上保持强劲表现。
•极致性价比:8B 参数量支持单卡流畅运行,无须 Router 频繁切换,单次 Pass 即可兼顾语义理解与像素生成,极大降低调用成本与推理延迟。



此外,正式版强化了任务导向的强化学习(RL)后训练,聚焦优化三大关键维度:
•指令遵循(Instruction Compliance):轻松解析超长 Prompt,精准执行严苛的多重复杂限制。
•视觉偏好(Visual Preference):全面优化构图、材质与光影,提升画面质感与视觉完成度。
•编辑保持(Editing Preservation):实现像素级局部修改,完美保留非目标区域的内容与结构。
这种复杂指令跟随与精细编辑能力,使得 SenseNova U1.5 Lite 可以无缝支持多轮迭代修改而不跑偏。这真正打破了单次生成的局限,让轻量级模型参与长流程的持续创作与二次改造成为可能。

让开源创作从“能看”走向“能用”

多模态是AI迈向物理世界与真实生产力的必经之路。商汤 SenseNova U1.5 Lite 开源的初衷,正是希望为全球开发者与创作者提供一个轻量、统一、极具性价比且高可控的生产力工具。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看蒋万安给儿子们起的名字,就知道他骨子里的中国人身份,藏不住

看蒋万安给儿子们起的名字,就知道他骨子里的中国人身份,藏不住

莫地方
2026-10-09 19:31:17
看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

怪味历史连连看
2026-07-01 14:49:12
黄大革、王竞宇被查

黄大革、王竞宇被查

六安新周报
2026-10-10 20:16:30
身价千万富豪在养老院去世,病危时签下放弃治疗,遗言:活着好累

身价千万富豪在养老院去世,病危时签下放弃治疗,遗言:活着好累

罪案洞察者
2025-09-11 11:25:37
大门越修越远,摆渡车票越卖越狠、游客不买账了,门票经济到头了

大门越修越远,摆渡车票越卖越狠、游客不买账了,门票经济到头了

兴趣知识
2026-10-10 01:34:09
别再把做饭当负担!日本研究了1万人发现:每周下厨1次,痴呆风险最高狂降67%!

别再把做饭当负担!日本研究了1万人发现:每周下厨1次,痴呆风险最高狂降67%!

爱医斯坦
2026-10-08 12:00:21
尊界事件:放下站队思维,少些立场预判 | 新京报快评

尊界事件:放下站队思维,少些立场预判 | 新京报快评

新京报
2026-10-09 18:13:26
宁可关门也不妥协!英国巨头硬刚欧盟:不准卖给中企,那就全毁了

宁可关门也不妥协!英国巨头硬刚欧盟:不准卖给中企,那就全毁了

乌克兰小静
2026-10-10 07:56:21
惜败!广东东阳光82-86广州,球员评分:3人满分,4人及格,3人低迷

惜败!广东东阳光82-86广州,球员评分:3人满分,4人及格,3人低迷

五姑娘台球
2026-10-10 22:04:56
钱多又如何!40岁悄悄到香港探望女儿的杨幂,给离婚女人提了个醒

钱多又如何!40岁悄悄到香港探望女儿的杨幂,给离婚女人提了个醒

眼底星碎
2026-10-08 02:25:52
专门服务退休人员的神仙单位,人均工资福利支出最高超56万元/年

专门服务退休人员的神仙单位,人均工资福利支出最高超56万元/年

马小白
2026-10-08 10:57:29
终于知道为何郑钦文比赛间隙休息的时候总是脱一边鞋子了

终于知道为何郑钦文比赛间隙休息的时候总是脱一边鞋子了

有态度网友19ILam
2026-10-05 08:50:02
降级专业户!17岁邝兆镭4年加盟4队全部降级,青岛海牛不该签他

降级专业户!17岁邝兆镭4年加盟4队全部降级,青岛海牛不该签他

老曁科普
2026-10-10 10:51:19
刘伯承晚年坦白:长征时问过毛主席“我们去哪儿”,答案让他服了

刘伯承晚年坦白:长征时问过毛主席“我们去哪儿”,答案让他服了

往史
2026-10-09 15:40:10
陈盈骏三分准绝杀北京险胜浙江 赵睿李悦洲受伤沃特斯28分

陈盈骏三分准绝杀北京险胜浙江 赵睿李悦洲受伤沃特斯28分

醉卧浮生
2026-10-10 21:45:50
现役国足身价最高11人阵容!王钰栋领衔,中场最弱,三人身价超100万欧

现役国足身价最高11人阵容!王钰栋领衔,中场最弱,三人身价超100万欧

大卫的篮球故事
2026-10-10 19:41:57
36岁亨德森英超生涯第四次梅开二度,上一次是在2014年

36岁亨德森英超生涯第四次梅开二度,上一次是在2014年

懂球帝
2026-10-10 23:54:04
印媒:如果打不赢中国歼-20,买F-35对印度没什么用,还不如买更多“阵风”

印媒:如果打不赢中国歼-20,买F-35对印度没什么用,还不如买更多“阵风”

蓝星杂谈
2026-10-08 18:10:04
A股跌跌不休的关键时刻,证监会现重磅动作,召开资本市场和金融形势专家座谈会,吴清表态!更好回报广大投资者

A股跌跌不休的关键时刻,证监会现重磅动作,召开资本市场和金融形势专家座谈会,吴清表态!更好回报广大投资者

金融界
2026-10-10 20:22:03
多地考生反映今日雅思考试突然被通知取消,考点工作人员回应:考试系统出现技术问题,影响到全国的考点,会影响到今明两天的考试

多地考生反映今日雅思考试突然被通知取消,考点工作人员回应:考试系统出现技术问题,影响到全国的考点,会影响到今明两天的考试

潇湘晨报
2026-10-10 12:58:19
2026-10-11 00:11:00
另镜 incentive-icons
另镜
关注新资本、新消费、新文娱
660文章数 72关注度
往期回顾 全部

科技要闻

上世纪成熟的踏板,为何今天还会断裂?

头条要闻

港媒:梅艳芳骨灰被盗三个月无线索 歌迷会公开求助

头条要闻

港媒:梅艳芳骨灰被盗三个月无线索 歌迷会公开求助

体育要闻

十年回首:湖人三榜眼的夏天,与NBA无关

娱乐要闻

宋佳一串三大满贯 争议随之而来

财经要闻

双汇因抗生素超标共被罚1.29亿元

汽车要闻

千匹马力+三把锁/顶配能浮水 银河战舰700限时焕新价16.98万起

态度原创

艺术
健康
亲子
数码
公开课

艺术要闻

385米!“火炬”要当日本第一高楼,胖墩墩长这样?

痘坑留下后,还能填平吗?

亲子要闻

生孩子的收益被国家、企业拿走了

数码要闻

长城推出KING 1050W全模组钛金牌电源:10年质保,1799元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版