网易首页 > 网易号 > 正文 申请入驻

同一句话贵68%:GPT-5对斯洛伐克语的隐形加价

0
分享至

斯洛伐克语用户向GPT-5发一句提示词,账单比英国用户发同样一句话高出约68%。不是汇率问题,是模型切分文本的方式不同。


发现这件事的过程很朴素:发票金额和草稿纸上的估算对不上。英文基准和价目表说一套,斯洛伐克语提示词的账单说另一套。于是有人停止猜测,开始实测——同样的1,012个句子、204种语言、35个分词器,结果整理成“Token税指数”。

核心结论先摆出来:

  • 在GPT-4o、GPT-4.1和GPT-5背后的分词器上,斯洛伐克语所需token是英语的1.68倍;在2023年的GPT-4分词器上是2.13倍
  • 35个分词器的中位数是1.81倍。主流模型中最好的是Llama 4,1.56倍;最差的是Falcon 3,2.27倍
  • 只有欧洲语料训练的分词器接近持平:EuroLLM为1.35倍,Teuken为1.41倍。斯洛伐克语原生分词器SlovakBERT为0.77倍,比英语还便宜。差距是选择,不是物理规律。
  • 斯洛伐克语并不特殊。在GPT-5的分词器上,204种语言里有161种至少付出1.5倍,42种达到2倍以上。桑塔利语是13.7倍

“贵68%”落到实际使用上是三件事同时发生。钱:每月1000欧元的英文负载,在GPT-5上换成斯洛伐克语是1680欧元,Claude Sonnet 4.6上是1800欧元,Qwen 3上是2070欧元,提示词和回答都一样。上下文:128k窗口装的是128k token而不是词,斯洛伐克语下文档、RAG分块和聊天记录大约少装40%的词,模型更早“忘事”。延迟:输出逐token生成,同样内容的斯洛伐克语回答要多走1.6到2倍的步数,流式输出肉眼可见地慢,用户往往先注意到这个,再注意到账单。

更扎心的一点:按原始UTF-8字节算,同样文本斯洛伐克语只比英语长9%。语言本身不长,是分词器不认识它。

分词器是从训练文本里建出来的压缩词典。BPE扫描数十亿句子,把出现频率足够高的片段收进词表。英语在互联网上积累了三十年的文本量,词典里塞满“the”“ing”“tion”和整词。在GPT-5的分词器上,一个英语token平均4.9个字符,一个斯洛伐克语token平均2.9个字符。

斯洛伐克语在三个具体环节上雪上加霜:变音符号(č š ž ť ď ľ ň ô ä)各占两个字节,如果分词器没把“ľudí”学成一个整体,可能切成ľ+ud+í,第一段甚至是双字节字符的单个字节;屈折变化多,英语有house和houses,斯洛伐克语有dom、domu、domov、domy、domom、domami、dome,每个形式都是分词器必须见过足够多次才能记住的独立字符串;语料里斯洛伐克语不够多,这是真正的原因——网络足迹约两倍的捷克语在同一分词器上比斯洛伐克语好几分(GPT-5上1.60倍对1.68倍),使用者四倍的波兰语是1.64倍。税跟着训练文本量走,不跟语言难度走。

好消息在GPT这条线上。OpenAI 2023年的分词器(cl100k_base,GPT-4/3.5)对斯洛伐克语收2.13倍,2024年的(o200k_base,GPT-4o到GPT-5)收1.68倍。词表翻倍到20万条,给斯洛伐克语打了21%的折扣,没人专门宣布过。Anthropic走了同一条路:Claude 2是2.25倍,Sonnet 4.6是1.80倍,5.5系列是1.58倍。

坏消息在人们为了省钱而自托管的开源权重模型里。Qwen 3(2.07倍)、Kimi K2(2.01倍)、DeepSeek V3(1.91倍)对斯洛伐克语都比GPT-5更差。模型本身很优秀,分词器是为中文和英文建的。拿它们跑斯洛伐克语,“便宜”的模型每句话要多花约四分之一的算力,比你想替换掉的API还贵。

托管模型的分词器改不了,能改的是发过去的东西:选模型前先把这笔税算进预算,每百万token的价格乘以自己语言的比率,便宜20%但分词器差25%的模型并不便宜;系统提示词和工具schema保持英文,它们每次调用都发出去,是提示词里语言唯一可控的部分,用户文本可以是斯洛伐克语,那800 token的指令块不必是;RAG分块按token而不是字符来定大小,用真实分词器量,按英文文档调的切块器在斯洛伐克语上会溢出;优先用更新的分词器家族,还停在GPT-4时代或Llama 3时代部署的,换到20万词表的模型是15%到20%的成本下降,质量不妥协;自托管先试EuroLLM和Teuken,它们是特意用中欧文本训练的,也是斯洛伐克语下仅有的低于1.5倍的两个。

测量方法:语料用FLORES-200 devtest,1,012个来自维基百科的句子,经专业翻译成204种语言,每种语言承载完全相同的信息。每套语料过每个分词器,比率是该语言总token数除以英语总token数,附bootstrap 95%置信区间。商业分词器(OpenAI、Anthropic)通过官方库或token计数端点,开源模型通过Hugging Face分词器。代码在MIT协议下开源,数据有DOI,任何人都能复跑。

有一个提醒需要说清楚:分词器更便宜不等于模型更好。Teuken压缩斯洛伐克语很在行,回答仍然不如GPT-5。比率告诉你每句话付多少钱,不告诉你拿回来什么。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
高市内阁的第二块骨牌,也要倒了

高市内阁的第二块骨牌,也要倒了

天真无牙
2026-11-20 17:54:51
中方支持成立湾区联盟引关注

中方支持成立湾区联盟引关注

参考消息
2026-11-20 10:23:51
20多个雨林野人拿着长矛主动走出树林!饿的受不了了,跟现代人讨点饭吃....

20多个雨林野人拿着长矛主动走出树林!饿的受不了了,跟现代人讨点饭吃....

英国那些事儿
2026-11-20 01:23:27
忘恩负义,见钱眼开,动手成瘾,谁也救不了“狂妄自大”的陈百祥

忘恩负义,见钱眼开,动手成瘾,谁也救不了“狂妄自大”的陈百祥

喜欢历史的阿繁
2026-11-21 00:54:17
深圳峰会第1天,罕见一幕发生,张国立因一个举动,实现口碑暴涨

深圳峰会第1天,罕见一幕发生,张国立因一个举动,实现口碑暴涨

王鶔吃吃喝喝
2026-11-19 11:10:50
“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

政知新媒体
2026-11-20 10:08:40
搬不动的房子,必须搞起来的股市:消费的死结,只能从这里解开

搬不动的房子,必须搞起来的股市:消费的死结,只能从这里解开

户外钓鱼哥阿旱
2026-11-21 03:58:56
挺好的训练装,硬是穿出不协调的感觉!

挺好的训练装,硬是穿出不协调的感觉!

穿的像个人样
2026-10-15 07:52:49
退休后才发现,除了每月准时到账的钱,还有另一个好处“省钱”

退休后才发现,除了每月准时到账的钱,还有另一个好处“省钱”

至死不渝的爱情
2026-11-21 07:17:11
独家!张楠与谢欣将从字节跳动离职

独家!张楠与谢欣将从字节跳动离职

鞭牛士
2026-11-20 10:22:06
这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

这一刀终于是落下来了!!不砍美国,不砍日本,德法英澳菲都绕开

果妈聊娱乐
2026-11-20 09:45:59
首次访华中国当场撤走仪仗队,下马威已给出:态度摆正,想好了再来!

首次访华中国当场撤走仪仗队,下马威已给出:态度摆正,想好了再来!

壁炉公子
2026-11-19 07:25:11
刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

凤凰网财经
2026-11-20 01:37:55
公交站广告多个人物眼睛重影疑似AI生成,相关部门:正排查整改

公交站广告多个人物眼睛重影疑似AI生成,相关部门:正排查整改

澎湃新闻
2026-11-20 15:36:43
全华班打出血性!辽宁男篮惜败山西,这一战彻底看清五个不争事实

全华班打出血性!辽宁男篮惜败山西,这一战彻底看清五个不争事实

富贵体坛说
2026-11-21 06:28:36
“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

“在北京三里屯被Lululemon门店员工尾随一个小时后,被要求翻包”,女子发帖质疑称太可怕;Lululemon致歉:涉事员工被终止服务

南方都市报
2026-11-20 07:54:09
虞书欣晒围裙照引发真空擦边争议?低龄粉丝模仿VS穿衣自由网友吵翻天

虞书欣晒围裙照引发真空擦边争议?低龄粉丝模仿VS穿衣自由网友吵翻天

浪花妈妈
2026-11-19 02:15:27
中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

中美俄发布和平宣言,一致反对国际刑事法院滥用管辖权,杜特尔特迎来新希望

光电科技君
2026-11-19 22:07:05
央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

大眼妹妹
2026-11-20 02:15:24
百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

百年难遇!中美俄共同警告非洲卢旺达,作为中国徒弟实在太能打了

云上乌托邦
2026-11-11 13:41:46
2026-11-21 08:11:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
238文章数 90关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
旅游
本地
公开课
军事航空

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版