网易首页 > 网易号 > 正文 申请入驻

牛仔裤被认成夹克,他把识别准确率从55%拉到77%

0
分享至

一条牛仔裤,被StyleCast归进了夹克类。这是开发者用自己手机拍下的第一件衣服,也是整个项目最有价值的一次翻车。


StyleCast是一个跑在手机浏览器里的AI穿搭规划器,为DEV Hacktoberfest 2026开源AI挑战赛第二周"副业"主题而做。它的逻辑很朴素:拍一次衣柜,之后每天早上从自己的衣服里挑一套,匹配真实天气预报。

但第一版差点走进死胡同。项目最初是一个Python服务器,通过Ollama调用Qwen2.5-VL,搭配效果不错,可每个用户都得先装Ollama、拉一个6 GB的模型,才能看到第一套搭配。第二天,这套方案被整个推翻,AI被搬进了浏览器。

浏览器里跑模型,靠什么撑住

衣物打标用的是CLIP ViT-B/32,经Transformers.js在设备本地运行,笔记本走WebGPU,手机走WebAssembly。预算对话由Gemma 3 1B承担,没有WebGPU的设备降级到Gemma 3 270M,跑在web worker里。天气数据来自免费的Open-Meteo,无需密钥,直接从浏览器调用。衣柜和照片存在浏览器的IndexedDB中。

CLIP并不像聊天模型那样描述照片,它把照片和一组描述逐一比对,挑出最接近的那个。对"这是什么类型的衣服"这个问题,这已经够用,而且小到能在手机上跑。至于搭配本身,交给纯JavaScript规则:先看天气,再看场合,最后避开最近穿过的。

开发者的原话是,不需要一个模型来告诉他正在下雨。

三个问题,一次修完

牛仔裤的误判没有靠改提示词碰运气。他写了一个评分脚本,让打标器跑过272张带标签的商品图,并接入CI,每次改动打标器的PR都会触发。脚本挖出三个问题:

  • 标签太懒。CLIP拿照片去匹配"一张牛仔裤的照片",没有别的线索,只能靠颜色和面料判断,蓝色牛仔布看起来就像牛仔夹克。现在每种类型都配了几条平实描述,比如"一条牛仔裤""蓝色牛仔牛仔裤""有两条裤腿的牛仔长裤"。
  • 中心裁剪。CLIP会裁成正方形,把牛仔裤这类竖长照片拦腰截断。现在改为填充成正方形。
  • 省内存的捷径反而伤了准确率。手机原本用8位模型省内存,现在换成16位,分两半加载,先文本后图像,以塞进手机内存。

三项修完,同一批272张照片上的结果:手机端衣物类型识别从55%升到77%,大类(上装、下装、鞋等)从90%升到93%;笔记本端类型识别从72%升到77%,大类从92%升到93%。

代价是手机首次下载从约150 MB涨到约300 MB,之后浏览器会缓存。

预算对话怎么不烧钱

问一句"我有50欧元,该买什么",流程是这样的:设备上的Gemma读取衣柜和规则找出的缺口,规划最多三次搜索;只有简短查询词(比如"雨衣")和价格上限会发到Render上的小服务器,那里保管SerpApi密钥,每次搜索缓存六小时,并按IP和按天限制搜索次数。规则从每次搜索里挑一件商品,保证总价不超预算,Gemma再写一句话说明每件为什么合适。

如果用户直接点名商品("20以下的鞋"),就跳过规划直接搜。如果Gemma在设备上加载失败,规则接手规划搜索并给出朴素解释,对话照样能用。

还有一个浏览器跑模型的坑:首次加载失败可能让ONNX Runtime在页面余下生命周期里一直坏着。现在每次模型尝试都开一个全新的web worker,WebGPU失败不会拖垮WebAssembly回退。

开源模型撑起一个2欧元订阅

在开发者看来,这个副业成立的前提是模型开源。隐私上,没人愿意把卧室衣柜的照片传到陌生服务器,模型跑在浏览器里,照片不离开手机,托管视觉API给不了这个承诺。成本上,闭源API按张按条计费,开源权重跑在用户设备上不花他一分钱,这才让2欧元的订阅算得过来。离线可用,模型下载后打标和选衣无需联网,最后一次预报会存下来应对信号差的早晨。可修可换,CLIP认错牛仔裤时能进去改标签、改预处理、比精度、量化每次改动;Gemma 1B在弱设备上降到270M,仓库里还有对比CLIP与SmolVLM的测试页。

项目是静态站点,无构建步骤,MIT许可,npm test覆盖搭配规则、预算对话和购物服务器,CI在每个PR上跑。首批用户是两位朋友,用安卓手机拍下自己的衣服,结果都对,评价是"不错,但还能更好"。开发者认这个评价——项目才几天大,反馈就是下一版的内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京:包围并消灭2000人的乌军集群,且在460平方公里区域内实施包围,这非比寻常;乌克兰打击“俄罗斯的谷歌”,互联网成新战场前线

普京:包围并消灭2000人的乌军集群,且在460平方公里区域内实施包围,这非比寻常;乌克兰打击“俄罗斯的谷歌”,互联网成新战场前线

扬子晚报
2026-10-17 19:49:23
成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

青梅侃史啊
2026-10-17 07:08:43
演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

台州交通广播
2026-10-17 12:49:57
1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

火山詩话
2026-10-17 15:34:17
男子逼好友睡他妻子,2010年好友不想睡了,他将好友的妻子和孩子杀死

男子逼好友睡他妻子,2010年好友不想睡了,他将好友的妻子和孩子杀死

汉史趣闻
2026-10-17 19:38:38
3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

狍子歪解体坛
2026-10-18 00:02:49
不接受道歉!朱之文回应被举报十几场商演取消: 我也会给他找麻烦

不接受道歉!朱之文回应被举报十几场商演取消: 我也会给他找麻烦

青辉
2026-10-17 15:38:44
亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

侧身凌空斩
2026-10-18 02:30:13
蓝心湄回应蔡康永疑遭封杀,称”应该不会封杀我们吧“,自曝:妈妈是长沙人,每年会带妈妈回去看亲戚

蓝心湄回应蔡康永疑遭封杀,称”应该不会封杀我们吧“,自曝:妈妈是长沙人,每年会带妈妈回去看亲戚

韩小娱
2026-10-17 11:05:13
首款陪伴机器人上市,配备160余种交互姿势,或成下一个万亿风口

首款陪伴机器人上市,配备160余种交互姿势,或成下一个万亿风口

疯狂小菠萝
2026-10-17 15:39:06
央媒发文称别妖魔化东南亚,但普通人真别信

央媒发文称别妖魔化东南亚,但普通人真别信

凤眼论
2026-10-17 17:40:07
独生女因病离世,同居十余年男友以“女婿”身份为其母养老送终,老人身故后外甥女诉请代位继承500万元遗产,法院判决

独生女因病离世,同居十余年男友以“女婿”身份为其母养老送终,老人身故后外甥女诉请代位继承500万元遗产,法院判决

环球网资讯
2026-10-17 10:46:10
1-0!43岁皇马弃帅保住帅位 登陆英超7轮后终获首胜 率队摆脱垫底

1-0!43岁皇马弃帅保住帅位 登陆英超7轮后终获首胜 率队摆脱垫底

我爱英超
2026-10-18 01:03:22
不可思议!疯狂小杨哥换新号复出,一日涨粉10万,网友:涨粉再快,也回不到之前上亿的粉丝量了

不可思议!疯狂小杨哥换新号复出,一日涨粉10万,网友:涨粉再快,也回不到之前上亿的粉丝量了

火山詩话
2026-10-18 07:10:10
2026武网诞生两匹最大“黑马”:世界排名170的卡塔尔杀进决赛,波兰“月亮姐”击败发小斯瓦泰克晋级,有望夺冠!

2026武网诞生两匹最大“黑马”:世界排名170的卡塔尔杀进决赛,波兰“月亮姐”击败发小斯瓦泰克晋级,有望夺冠!

极目新闻
2026-10-17 22:52:22
仅1名员工的公司中标3000万!实际施工结算仅350万 1250万被挪用!

仅1名员工的公司中标3000万!实际施工结算仅350万 1250万被挪用!

闪电新闻
2026-10-17 17:29:15
女子和情夫缠绵时,另一个情人也来了,2014年女子被情夫杀死了

女子和情夫缠绵时,另一个情人也来了,2014年女子被情夫杀死了

汉史趣闻
2026-10-17 08:50:22
广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

醉卧浮生
2026-10-17 22:14:15
人社部重点严查五类退休人员!

人社部重点严查五类退休人员!

逍遥论经
2026-10-17 17:39:47
5-0横扫!红牌改变战局,中超惨案诞生,王钰栋不敢相信

5-0横扫!红牌改变战局,中超惨案诞生,王钰栋不敢相信

足球狗说
2026-10-17 21:54:29
2026-10-18 09:15:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
203文章数 97关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

旅游
时尚
数码
艺术
手机

旅游要闻

打造移动旅游驿站 满足不同群体需求

秋天衣服要越买越精,准备好这“三衣”,简单舒适又有品味

数码要闻

英伟达否认GeForce RTX 5090停产传闻 称旗舰显卡仍将持续出货

艺术要闻

美到窒息!黛安笔下的午后“印象”,明媚又温柔,看完心情都亮了!

手机要闻

苹果零售员工被要求劝阻顾客现场抢购 iPhone Duo 首发库存或极度紧张

无障碍浏览 进入关怀版