网易首页 > 网易号 > 正文 申请入驻

牛仔裤被认成夹克,他把识别准确率从55%拉到77%

0
分享至

一条牛仔裤,被StyleCast归进了夹克类。这是开发者用自己手机拍下的第一件衣服,也是整个项目最有价值的一次翻车。


StyleCast是一个跑在手机浏览器里的AI穿搭规划器,为DEV Hacktoberfest 2026开源AI挑战赛第二周"副业"主题而做。它的逻辑很朴素:拍一次衣柜,之后每天早上从自己的衣服里挑一套,匹配真实天气预报。

但第一版差点走进死胡同。项目最初是一个Python服务器,通过Ollama调用Qwen2.5-VL,搭配效果不错,可每个用户都得先装Ollama、拉一个6 GB的模型,才能看到第一套搭配。第二天,这套方案被整个推翻,AI被搬进了浏览器。

浏览器里跑模型,靠什么撑住

衣物打标用的是CLIP ViT-B/32,经Transformers.js在设备本地运行,笔记本走WebGPU,手机走WebAssembly。预算对话由Gemma 3 1B承担,没有WebGPU的设备降级到Gemma 3 270M,跑在web worker里。天气数据来自免费的Open-Meteo,无需密钥,直接从浏览器调用。衣柜和照片存在浏览器的IndexedDB中。

CLIP并不像聊天模型那样描述照片,它把照片和一组描述逐一比对,挑出最接近的那个。对"这是什么类型的衣服"这个问题,这已经够用,而且小到能在手机上跑。至于搭配本身,交给纯JavaScript规则:先看天气,再看场合,最后避开最近穿过的。

开发者的原话是,不需要一个模型来告诉他正在下雨。

三个问题,一次修完

牛仔裤的误判没有靠改提示词碰运气。他写了一个评分脚本,让打标器跑过272张带标签的商品图,并接入CI,每次改动打标器的PR都会触发。脚本挖出三个问题:

  • 标签太懒。CLIP拿照片去匹配"一张牛仔裤的照片",没有别的线索,只能靠颜色和面料判断,蓝色牛仔布看起来就像牛仔夹克。现在每种类型都配了几条平实描述,比如"一条牛仔裤""蓝色牛仔牛仔裤""有两条裤腿的牛仔长裤"。
  • 中心裁剪。CLIP会裁成正方形,把牛仔裤这类竖长照片拦腰截断。现在改为填充成正方形。
  • 省内存的捷径反而伤了准确率。手机原本用8位模型省内存,现在换成16位,分两半加载,先文本后图像,以塞进手机内存。

三项修完,同一批272张照片上的结果:手机端衣物类型识别从55%升到77%,大类(上装、下装、鞋等)从90%升到93%;笔记本端类型识别从72%升到77%,大类从92%升到93%。

代价是手机首次下载从约150 MB涨到约300 MB,之后浏览器会缓存。

预算对话怎么不烧钱

问一句"我有50欧元,该买什么",流程是这样的:设备上的Gemma读取衣柜和规则找出的缺口,规划最多三次搜索;只有简短查询词(比如"雨衣")和价格上限会发到Render上的小服务器,那里保管SerpApi密钥,每次搜索缓存六小时,并按IP和按天限制搜索次数。规则从每次搜索里挑一件商品,保证总价不超预算,Gemma再写一句话说明每件为什么合适。

如果用户直接点名商品("20以下的鞋"),就跳过规划直接搜。如果Gemma在设备上加载失败,规则接手规划搜索并给出朴素解释,对话照样能用。

还有一个浏览器跑模型的坑:首次加载失败可能让ONNX Runtime在页面余下生命周期里一直坏着。现在每次模型尝试都开一个全新的web worker,WebGPU失败不会拖垮WebAssembly回退。

开源模型撑起一个2欧元订阅

在开发者看来,这个副业成立的前提是模型开源。隐私上,没人愿意把卧室衣柜的照片传到陌生服务器,模型跑在浏览器里,照片不离开手机,托管视觉API给不了这个承诺。成本上,闭源API按张按条计费,开源权重跑在用户设备上不花他一分钱,这才让2欧元的订阅算得过来。离线可用,模型下载后打标和选衣无需联网,最后一次预报会存下来应对信号差的早晨。可修可换,CLIP认错牛仔裤时能进去改标签、改预处理、比精度、量化每次改动;Gemma 1B在弱设备上降到270M,仓库里还有对比CLIP与SmolVLM的测试页。

项目是静态站点,无构建步骤,MIT许可,npm test覆盖搭配规则、预算对话和购物服务器,CI在每个PR上跑。首批用户是两位朋友,用安卓手机拍下自己的衣服,结果都对,评价是"不错,但还能更好"。开发者认这个评价——项目才几天大,反馈就是下一版的内容。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
别被“某音”前凸后翘的网红骗了

别被“某音”前凸后翘的网红骗了

健身厨屋
2026-06-17 18:56:01
两任总指挥临阵脱逃,一线主将集体阵亡,塔伊兹联军群龙无首!

两任总指挥临阵脱逃,一线主将集体阵亡,塔伊兹联军群龙无首!

胜研集
2026-10-18 00:07:35
黄奇帆和唐宁有什么关系?

黄奇帆和唐宁有什么关系?

西虹市闲话
2026-10-15 13:28:15
1年352万美金!14分8板7助!30岁状元炮轰NBA名帅

1年352万美金!14分8板7助!30岁状元炮轰NBA名帅

微评体育圈
2026-10-18 12:47:36
上海徐浦大桥清晨突发严重车祸:白车强行超车酿祸 平板货车失控冲过隔离栏冲入对向车道致1死2伤

上海徐浦大桥清晨突发严重车祸:白车强行超车酿祸 平板货车失控冲过隔离栏冲入对向车道致1死2伤

老猫观点
2026-10-18 07:30:54
雅思停考风波背后:巅峰时内地一天7万人次考试,主办方近5财年累计净亏损1.84亿英镑,欲以藏品抵债!

雅思停考风波背后:巅峰时内地一天7万人次考试,主办方近5财年累计净亏损1.84亿英镑,欲以藏品抵债!

每日经济新闻
2026-10-15 14:59:23
“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

蝴蝶花雨话教育
2026-10-06 11:47:56
高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

草莓解说体育
2026-10-17 05:06:46
跌过那么多轮,为什么偏偏这次最痛?

跌过那么多轮,为什么偏偏这次最痛?

资本时差
2026-10-17 23:53:48
佩莱格里尼:无法理解裁判的判罚;红牌让比赛失去平衡

佩莱格里尼:无法理解裁判的判罚;红牌让比赛失去平衡

懂球帝
2026-10-18 03:31:05
10月养老金陆续发放!北京退休人员3项自查,保障待遇正常领取

10月养老金陆续发放!北京退休人员3项自查,保障待遇正常领取

老孙说
2026-10-18 09:25:17
印度姑娘在中国生活20年,重回印度故乡后,却说不愿再回来

印度姑娘在中国生活20年,重回印度故乡后,却说不愿再回来

麦子情感故事
2026-10-17 23:00:05
成都宝妈打伤人最新后续!曝受害者缝18针,鼻骨骨折,吓坏俩孩子

成都宝妈打伤人最新后续!曝受害者缝18针,鼻骨骨折,吓坏俩孩子

甜菊汽水
2026-10-17 14:16:06
泽连斯基亲口确认:每倒下1名乌军,就会有7到10名俄军跟着陪葬!

泽连斯基亲口确认:每倒下1名乌军,就会有7到10名俄军跟着陪葬!

小莜读史
2026-10-16 16:44:36
人民日报:机关事业单位工作隐性收入减少,引人共鸣!

人民日报:机关事业单位工作隐性收入减少,引人共鸣!

职场资深秘书
2026-10-15 20:51:13
林丹43岁生日全家福曝光!儿子亲手煮面,谢杏芳状态惊艳,当年风波真翻篇了?

林丹43岁生日全家福曝光!儿子亲手煮面,谢杏芳状态惊艳,当年风波真翻篇了?

陈意小可爱
2026-10-18 12:48:13
多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

健康之光
2026-10-18 04:45:05
下周(10.19-10.23)持有这些个股的要小心了!(附个股)

下周(10.19-10.23)持有这些个股的要小心了!(附个股)

股侠指北针
2026-10-18 09:04:46
卫生大会定调“先让医院活下来”,医保控费要踩刹车了

卫生大会定调“先让医院活下来”,医保控费要踩刹车了

娱乐洞察点点
2026-10-18 12:24:17
2026-10-18 13:40:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
213文章数 97关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

健康
艺术
手机
家居
公开课

看着很健康的人,怎么会突然猝死?

艺术要闻

14位国外画家的风景油画

手机要闻

今天重阳节!何刚分享华为手机实用功能:拦截诈骗电话、远程协助长辈

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版