网易首页 > 网易号 > 正文 申请入驻

数不清鼓掌次数?Gemini 3.7 Flash用新能力做到了

0
分享至

AI数不清鼓掌次数,这事听起来有点离谱,但确实是行业公认的难题。静态处理默认按每秒1帧的速度解析视频,像鼓掌这种瞬间动作,要么被直接漏掉,要么跟打响指、点击声混在一起。Gemini 3.7 Flash最近展示的一项新能力,把这个问题解决了——它能在处理视频时自动调整速度,准确识别并数出每一次鼓掌。

问题出在固定帧率上


传统AI处理视频时,默认用固定的1 FPS(每秒1帧)进行采样。这个速度对静态画面够用,但遇到快速动作就抓瞎了。一次鼓掌可能只持续零点几秒,在1 FPS的采样下,这一帧可能刚好落在鼓掌前或鼓掌后,动作就整个消失了。更麻烦的是,如果画面里同时有鼓掌、打响指、点击等动作,固定帧率下这些动作在视觉上高度相似,AI很容易把它们混为一谈。

这本质上是个采样率与动作速度不匹配的问题。视频是连续的时间流,但AI按固定间隔取帧,间隔太大就会丢失关键信息。鼓掌这种高频动作,恰恰是固定帧率最容易漏掉的类型。

Gemini 3.7 Flash的解法:动态调整处理速度

Gemini 3.7 Flash这次展示的智能体视频理解能力,核心思路是让AI自己决定该用多快的速度去处理视频。不再死守1 FPS的固定值,而是根据画面内容自动调整处理速度——遇到快速动作时加快采样,确保每个瞬间都被捕捉到;画面相对静止时则放慢速度,避免不必要的计算浪费。

从演示效果看,这个机制确实管用。视频里连续多次鼓掌,Gemini 3.7 Flash每一次都准确识别并计数,没有漏掉任何一次,也没有把其他动作误判成鼓掌。这种自适应处理速度的能力,让AI在理解动态视频时有了更大的灵活性。

对视频理解意味着什么

这项能力的影响范围不止于数鼓掌次数。很多视频理解任务都受限于固定帧率的采样方式——体育动作分析、手势识别、快速变化的场景切换,都可能因为采样间隔太大而丢失关键帧。如果AI能根据内容动态调整处理速度,这些场景的识别准确率都有望提升。

换个角度看,这也是智能体处理视频时的一个新思路:与其用统一的处理流程应对所有内容,不如让AI根据实际需要自主调节。视频里动作快就多采样,动作慢就少采样,把计算资源用在真正需要的地方。

演示之外,还有待验证的部分

目前展示的还只是单个演示场景,数清鼓掌次数是一个具体案例,但这项能力在更复杂、更嘈杂的视频场景下表现如何,还没有更多公开数据。比如多人同时做不同动作、背景有大量干扰信息、或者视频画质较差时,自适应处理速度还能不能保持同样的准确率,这些都需要进一步验证。

不过,从技术方向上看,让AI根据内容动态调整处理速度,确实比固定帧率采样更合理。至少在这个演示里,Gemini 3.7 Flash证明了这条路走得通。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“对干得慢、效果差的,该约谈的约谈、该通报的通报,对问题突出、工作严重滞后的,依规依纪追责问责”

“对干得慢、效果差的,该约谈的约谈、该通报的通报,对问题突出、工作严重滞后的,依规依纪追责问责”

政知新媒体
2026-09-02 21:43:56
马竞直接焊死交易!亚马尔一席话,平息巴萨锋线引援风波

马竞直接焊死交易!亚马尔一席话,平息巴萨锋线引援风波

圣西罗的太阳
2026-09-02 08:36:28
事闹大了!伊朗总统还在上合峰会开会,亲儿子要被革命卫队定罪了

事闹大了!伊朗总统还在上合峰会开会,亲儿子要被革命卫队定罪了

顾秋韵
2026-09-02 15:22:47
为什么外部势力总想插手中国内部事务?

为什么外部势力总想插手中国内部事务?

风铃草语
2026-09-02 06:40:00
750赛,国羽名将惨遭0-2,新科世锦赛冠军爆冷出局,世界第6零封

750赛,国羽名将惨遭0-2,新科世锦赛冠军爆冷出局,世界第6零封

无意争春
2026-09-02 23:00:58
业绩炸裂,股价暴跌!锂矿股为何集体"见光死"?!

业绩炸裂,股价暴跌!锂矿股为何集体"见光死"?!

赶碳号
2026-09-02 17:44:19
郑州胖东来店、山姆会员店,最新进展!

郑州胖东来店、山姆会员店,最新进展!

大象新闻
2026-09-02 11:15:03
518人上岸江西选调生!2026拟录用名单深度拆解,真相家长必知道

518人上岸江西选调生!2026拟录用名单深度拆解,真相家长必知道

马蹄烫嘴说美食
2026-09-03 01:16:25
别再白交社保了!2026退休新规,断缴、年限不足全部有解决方案

别再白交社保了!2026退休新规,断缴、年限不足全部有解决方案

白米饭怎么吃
2026-09-01 16:25:31
陕西宝鸡一民办幼儿园开学当天突然闭园,家长上午送娃上学下午被通知重选学校,教体局:园方办学资质失效,已安排分流

陕西宝鸡一民办幼儿园开学当天突然闭园,家长上午送娃上学下午被通知重选学校,教体局:园方办学资质失效,已安排分流

先锋新闻
2026-09-02 20:18:50
为什么赵心童国内和国外的比赛成绩差别这么大,几点原因道出真相

为什么赵心童国内和国外的比赛成绩差别这么大,几点原因道出真相

林子说事
2026-09-01 01:51:16
94岁香港艺人刘兆铭离世,晚年病痛缠身轮椅代步,48岁才入行演戏

94岁香港艺人刘兆铭离世,晚年病痛缠身轮椅代步,48岁才入行演戏

喜欢历史的阿繁
2026-09-03 02:17:48
他从中央调任福建,历练多年后,走上了“正国级”高位!

他从中央调任福建,历练多年后,走上了“正国级”高位!

品藏天下
2026-08-20 10:51:01
签下了!2米31核武!比哈登快!跪着都比你高啊...

签下了!2米31核武!比哈登快!跪着都比你高啊...

左右为篮
2026-09-02 12:22:45
日本广东都是1亿多人,日本上半年新生儿有34万,广东让人意外!

日本广东都是1亿多人,日本上半年新生儿有34万,广东让人意外!

抽象派大师
2026-07-28 00:23:36
性与命的终极账单:能活过80岁的男人,早戒掉了这3种耗命习惯

性与命的终极账单:能活过80岁的男人,早戒掉了这3种耗命习惯

刘哥谈体育
2026-08-27 01:58:50
林徽因96岁女儿深情回忆妈妈往事:我的妈妈多漂亮,温柔又勇敢,她真的是最好的妈妈

林徽因96岁女儿深情回忆妈妈往事:我的妈妈多漂亮,温柔又勇敢,她真的是最好的妈妈

小鹿姐姐情感说
2026-08-30 16:19:52
封死在纪录簿里的五道墙:梅西退队后,国家队这五项再无后来者

封死在纪录簿里的五道墙:梅西退队后,国家队这五项再无后来者

安逸安逸
2026-09-02 05:41:19
25岁日本男星电车内性侵女高中生被捕,称犯案动机纯粹是“为了满足自己”

25岁日本男星电车内性侵女高中生被捕,称犯案动机纯粹是“为了满足自己”

韩小娱
2026-09-01 18:09:29
央视网评:“取消ETC”呼声背后,收费站拥堵的“锅”谁来背?

央视网评:“取消ETC”呼声背后,收费站拥堵的“锅”谁来背?

澎湃新闻
2026-09-01 17:55:39
2026-09-03 03:39:00
硅屿手记
硅屿手记
有态度网友ytd
196文章数 69关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

游客拍下疑冰崩画面:土石翻涌 山间有黑色物体涌出

头条要闻

游客拍下疑冰崩画面:土石翻涌 山间有黑色物体涌出

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

星宇股份的麻烦,才刚开始

汽车要闻

配双腔空悬+机械差速锁 传祺越7预售权益价17.18万起

态度原创

游戏
房产
数码
旅游
公开课

《CS2》凉了吗?玩家人数创两年来新低 问题出在哪

房产要闻

新四代住宅 新样板间开放丨以艺术之名 赴一场迭代之约

数码要闻

戴森发布首款口腔护理科技CameraJet可视成像牙刷

旅游要闻

张昌平畅想AI数字漫游:从盘龙城直达三星堆 铸造青铜大立人|名人大讲堂

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版