网易首页 > 网易号 > 正文 申请入驻

数不清鼓掌次数?Gemini 3.7 Flash用新能力做到了

0
分享至

AI数不清鼓掌次数,这事听起来有点离谱,但确实是行业公认的难题。静态处理默认按每秒1帧的速度解析视频,像鼓掌这种瞬间动作,要么被直接漏掉,要么跟打响指、点击声混在一起。Gemini 3.7 Flash最近展示的一项新能力,把这个问题解决了——它能在处理视频时自动调整速度,准确识别并数出每一次鼓掌。

问题出在固定帧率上


传统AI处理视频时,默认用固定的1 FPS(每秒1帧)进行采样。这个速度对静态画面够用,但遇到快速动作就抓瞎了。一次鼓掌可能只持续零点几秒,在1 FPS的采样下,这一帧可能刚好落在鼓掌前或鼓掌后,动作就整个消失了。更麻烦的是,如果画面里同时有鼓掌、打响指、点击等动作,固定帧率下这些动作在视觉上高度相似,AI很容易把它们混为一谈。

这本质上是个采样率与动作速度不匹配的问题。视频是连续的时间流,但AI按固定间隔取帧,间隔太大就会丢失关键信息。鼓掌这种高频动作,恰恰是固定帧率最容易漏掉的类型。

Gemini 3.7 Flash的解法:动态调整处理速度

Gemini 3.7 Flash这次展示的智能体视频理解能力,核心思路是让AI自己决定该用多快的速度去处理视频。不再死守1 FPS的固定值,而是根据画面内容自动调整处理速度——遇到快速动作时加快采样,确保每个瞬间都被捕捉到;画面相对静止时则放慢速度,避免不必要的计算浪费。

从演示效果看,这个机制确实管用。视频里连续多次鼓掌,Gemini 3.7 Flash每一次都准确识别并计数,没有漏掉任何一次,也没有把其他动作误判成鼓掌。这种自适应处理速度的能力,让AI在理解动态视频时有了更大的灵活性。

对视频理解意味着什么

这项能力的影响范围不止于数鼓掌次数。很多视频理解任务都受限于固定帧率的采样方式——体育动作分析、手势识别、快速变化的场景切换,都可能因为采样间隔太大而丢失关键帧。如果AI能根据内容动态调整处理速度,这些场景的识别准确率都有望提升。

换个角度看,这也是智能体处理视频时的一个新思路:与其用统一的处理流程应对所有内容,不如让AI根据实际需要自主调节。视频里动作快就多采样,动作慢就少采样,把计算资源用在真正需要的地方。

演示之外,还有待验证的部分

目前展示的还只是单个演示场景,数清鼓掌次数是一个具体案例,但这项能力在更复杂、更嘈杂的视频场景下表现如何,还没有更多公开数据。比如多人同时做不同动作、背景有大量干扰信息、或者视频画质较差时,自适应处理速度还能不能保持同样的准确率,这些都需要进一步验证。

不过,从技术方向上看,让AI根据内容动态调整处理速度,确实比固定帧率采样更合理。至少在这个演示里,Gemini 3.7 Flash证明了这条路走得通。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大三女儿暑假躺平40天,空调24小时不关奶茶30多一杯,我月薪几千省吃俭用,她张口又要3000旅游,我拒绝她摔门就走

大三女儿暑假躺平40天,空调24小时不关奶茶30多一杯,我月薪几千省吃俭用,她张口又要3000旅游,我拒绝她摔门就走

背包旅行
2026-09-01 11:59:19
海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

海上漂了272天的美国水兵登陆了:“林肯”号停靠泰国5天,芭堤雅“整肃”中期待

红星新闻
2026-09-02 16:34:22
何晴去世9月,许亚军一家拍全家福继母关心,许何的表情说明问题

何晴去世9月,许亚军一家拍全家福继母关心,许何的表情说明问题

小椰的奶奶
2026-09-03 09:03:14
29.99万!小米新车官宣:9月7日,正式上市!

29.99万!小米新车官宣:9月7日,正式上市!

科技堡垒
2026-09-02 15:44:55
手握15个世界冠军,和夏煊泽是好兄弟,如今在哈工大当老师太明智

手握15个世界冠军,和夏煊泽是好兄弟,如今在哈工大当老师太明智

寒士之言本尊
2026-09-02 23:30:21
恒大供应商“伤亡名单”

恒大供应商“伤亡名单”

地产微资讯
2026-09-02 14:36:33
1-4!39岁丁俊晖爆冷输20岁乌克兰选手 赛季对阵前100全败

1-4!39岁丁俊晖爆冷输20岁乌克兰选手 赛季对阵前100全败

念洲
2026-09-03 06:58:51
再见了,期房!商品房预售制卒于2026

再见了,期房!商品房预售制卒于2026

酷玩实验室
2026-09-03 10:19:29
2011年曾轰动全国的洛阳囚奴案:一名男子将6名女子囚禁为“后宫”,为争宠受害者竟被逼互相残杀

2011年曾轰动全国的洛阳囚奴案:一名男子将6名女子囚禁为“后宫”,为争宠受害者竟被逼互相残杀

人生录
2026-09-03 00:05:16
为什么人民的名义严重弱化省政府的实力?省长可不是沙瑞金的下级

为什么人民的名义严重弱化省政府的实力?省长可不是沙瑞金的下级

剧有梗
2026-09-03 07:06:20
医生拒收“小艾”、“小梅”被投诉,“不收住院就12345”,卫健委:重罚!

医生拒收“小艾”、“小梅”被投诉,“不收住院就12345”,卫健委:重罚!

医脉圈
2026-09-02 22:18:54
摩根嘲讽梅西广告:体育史上最狂妄、最厚颜无耻的吹嘘之言

摩根嘲讽梅西广告:体育史上最狂妄、最厚颜无耻的吹嘘之言

懂球帝
2026-09-03 07:25:05
英国公开赛16强全产生!庞俊旭惨遭零封!常冰玉与囧哥爆冷翻车!

英国公开赛16强全产生!庞俊旭惨遭零封!常冰玉与囧哥爆冷翻车!

铭记人类辉煌
2026-09-03 09:41:58
“清一色的脖子前倾!”一张学生军训照片,让家长心里不是滋味

“清一色的脖子前倾!”一张学生军训照片,让家长心里不是滋味

熙熙说教
2026-08-30 13:35:48
白左缺乏道德是非观的同情心绝非善意,而是文明的自我毁灭——兼论川普治下美国的拨乱反正

白左缺乏道德是非观的同情心绝非善意,而是文明的自我毁灭——兼论川普治下美国的拨乱反正

壹家言
2026-09-01 08:28:50
俄版“星链”计划失败,16颗卫星无一进入预定轨道

俄版“星链”计划失败,16颗卫星无一进入预定轨道

山河路口
2026-09-02 21:17:21
什么比穷更可怕?浙江义乌95后女孩,白天做跨境电商,晚上足疗技师,被同行称作跨界的神,月入不到六位数

什么比穷更可怕?浙江义乌95后女孩,白天做跨境电商,晚上足疗技师,被同行称作跨界的神,月入不到六位数

捣蛋窝
2026-09-02 22:37:46
丁荭“丑画”引发舆情,清华美院终于对她“下了重手”

丁荭“丑画”引发舆情,清华美院终于对她“下了重手”

石辰搞笑日常
2026-09-03 11:17:59
如果当初梁思成的方案被采纳,也许今天的北京是这个样子的

如果当初梁思成的方案被采纳,也许今天的北京是这个样子的

浩渺青史
2026-09-02 02:48:33
大快人心!坐牢20年不算完,美国法院:你的公民身份,我们收回了

大快人心!坐牢20年不算完,美国法院:你的公民身份,我们收回了

怪味历史连连看
2026-09-02 23:30:05
2026-09-03 14:20:49
硅屿手记
硅屿手记
有态度网友ytd
218文章数 69关注度
往期回顾 全部

科技要闻

大模型扎堆!谷歌刚发,Meta就跟上

头条要闻

尼泊尔父亲山洪后借钱徒步找19岁儿子:他肯定能跑掉

头条要闻

尼泊尔父亲山洪后借钱徒步找19岁儿子:他肯定能跑掉

体育要闻

小卡回应处罚:不知晓任何规避工资帽意图

娱乐要闻

德云社停更20天再营业!

财经要闻

再见了,期房!商品房预售制卒于2026

汽车要闻

实拍捷途旅行者7 风格更潮/混动版配上华为乾崑ADS 5

态度原创

房产
健康
教育
时尚
艺术

房产要闻

新四代住宅 新样板间开放丨以艺术之名 赴一场迭代之约

脑梗能否取栓,关键看这几点!

教育要闻

奥数题,全班只有一个女生做出来

“卡普里裤”今年秋天又流行回来了,这样穿时髦又显高!

艺术要闻

马岩松MAD新作:舞蹈之家的“玻璃裙摆”

无障碍浏览 进入关怀版