分词器怎样把一句话切成模型能读的小块

当前的语言模型并不按一个字一个字往下看。句子进模型之前，先被切成一小块一小块。常见的片段尽量保持完整，少见的片段会被拆开。切完有多少块，后面就要走多少步。这一步管的是切口落在哪里。不是决定这一步该看前文的哪一块，也不是从许多候选里挑出下一个字。

切分要同时满足两件事。一块里最好是经常一起出现的片段，这样模型认得这块的用法。一块又不能长到把两件不同的事粘死，否则后面无法分开处理。词表里有哪些块，决定了切口能落在哪里。换一套词表，同一句话的切口就会变。

切得好的样子是一排宽窄不一的小块。日常说法切成较长的块，专名、数字和少见搭配切成较短的块。块与块之间的边界清楚，没有把两个词粘成一块，也没有把一个常见词切成碎末。只数总字数，看不出切口是否落对。

同一句话可以有不止一种切法。词表里若已经有一个较长的块，切口会让这一段保持完整。词表里没有，就退回到更短的块，一层一层拆，直到每一块都在词表里。所以切分不是按人的词感来，而是按这套词表里现成的块来。

少见的名字、很长的编号、临时拼出来的一串符号，常常没有现成的长块。它们会被拆成许多很短的碎块，有时短到一个字一块，甚至一个字还要再拆。碎块一多，步数就上去。同样字数的两句话，少见内容多的那句会更费步数。

标点、空格和换行也占块。它们不是可有可无的装饰。一个句号常常是单独的一块，它告诉后面的步骤：这里是一个停顿。把标点全部去掉再切，边界会变，后面看到的序列就不是原来那句。空格在有的切法里单独成块，在有的切法里被并进旁边的词。

数字最容易被切碎。一长串位数若没有作为整体出现过，就会一位一位或两三位一组切开。人眼看是同一个数，模型看到的是一串小块。要比较两个长数字是否相同，先看它们被切成的块是不是同一串，不能只看字面写在一起。

碎块太多的截面，是一个本该连在一起的词被拆成许多窄条，窄条之间没有留下完整的意思。后面的步骤只能一块一块拼，拼错一步，整个词就偏了。这种切法不是词表坏了那么简单，而是这个片段在词表里本来就没有较长的块。先确认是少见片段，不要先怪后面的计算。

粘在一起是另一种切坏。两个相邻的词被收成一块，后面就没有机会在它们中间停一下。问的是前一个词，答的时候却把后一个词的用法也带上。粘连在截面上是一块异常地长，盖过了本来该分开的两段。它和正常的长块不同：正常长块内部是一个经常一起出现的说法。

短句和长句不能用同一块数来对照。短句块数少，每一步都能看完全句。长句块数多，靠后的步骤离开头更远。只拿短句试切分，长句里后半段的切口问题看不出来。放行要看最长的那种输入，再看最短的那种有没有被切得过碎。

同一种意思，换一种说法，切口可以完全不同。一种说法词表里有现成的长块，另一种说法要拆开。后面的步数、停顿的位置都会跟着变。所以不能用一句的切分结果，去代替另一句。换说法就要重新切一遍。

中英夹杂时，两种文字的切法不一样。汉字常常一个或几个字一块，英文单词可能整词一块，也可能按词内的片段切开。夹在中间的那一块，边界最容易粘错或切碎。只看纯中文的句子，夹杂句的切口会整句漏掉。

不该粘在一起的切分，截面上是两段不同的说法合成了一块，中间没有缝。这块再往下，会被当成一个整体来用。分开写明明是两件事，切完却只剩一块。要把它和真正的固定说法分开：固定说法拆开反而不自然，粘连是拆开才自然。

块的编号只是词表里的序号，序号相邻不代表意思相邻。两个意思接近的说法，编号可以差得很远。两个编号挨着的块，意思可以毫无关系。后面若按编号的远近来判断意思近不近，方向就错了。意思近不近，要等切完之后的另一步来比。

同一段文字重复切，切口应当稳定。今天切成这些块，同样的词表明天还应切成这些块。若同一句两次切出的块数不同，先查是不是混进了看不见的空格或换行，不要先改词表。看不见的字符也会占一块。

开头和结尾要单独看。开头若被切掉半块，第一块就是残的。结尾若把最后的标点并进最后一个词，停顿就没了。只看中间切得整齐，头尾的残块会整段漏掉。抽查要包括第一块和最后一块。

允许的最长块数是有限的。切口若把句子切得过碎，还没进入后面的计算，块数就已经顶满。这时不是后面算不动，是切分把预算用完了。先看有没有少见片段被拆成碎末，不要先把后面的长度限额加大。

常见词被切碎，和少见词被切碎，处理不一样。常见词本该有长块，却被切碎，多半是词表没有装上这一块，或者句子里夹了特殊符号把词打断。少见词被切碎是预期之内。先分开这两类，再决定要不要补词表。

切完之后，原来的字就不用了。后面的每一步只看见块的编号。字面上改一个字，可能只改一块，也可能让后面好几块的切口都挪位。所以改一个字不是只影响那一个位置。要把改完的整句重新切一遍，再往下送。

一批句子一起切时，每句的块数可以不同。不能把短句补上空块去凑长句的长度，除非后面的步骤明确要求对齐。乱补的空块会被当成真的内容。对齐若必须做，空块的位置要记清楚，不能和真正的词混在一起。

整条链路是：按这套词表切开，常见说法保持较长的块，少见片段允许变碎但要心里有数，标点和头尾都在，两件不同的事没有粘成一块，块数没有在进模型之前就顶满。截面里一个词碎成一串窄条，或者两段话粘成一块，就不要送去后面的计算。碎和粘要分开报。

只看切完的块数合不合格，看不出切口对不对。块数合格，仍可能把关键词粘错，或把数字切得无法辨认。放行要抽出几句，把切口画出来，对照人能认出的边界。没有这张切口，块数只是一个总数。

换词表之后，旧句子的块数和切口都会变。先拿一组固定的句子重新切，看碎块和粘连有没有变多，再让整批走新词表。沿用旧的块数限额，新词表不是提前顶满，就是把不该粘的地方粘上。

切分发生在一切计算之前。后面回头看前文、挑选下一个字，看到的都已经是这些小块，不是原来的字。切口错了，后面每一步都在错的序列上工作。所以这一步要在送进模型之前看完，不要等生成结束后再追切口。

http://www.zhaocaicatt.cn/m/90577628.html
http://www.x2m8k4.cn/m/39095353.html
http://www.xhpxad.cn/m/23681992.html
http://www.kjfrr.cn/m/55289669.html
http://www.xvfahz.cn/m/11589381.html
http://www.opqoas.cn/m/89933988.html
http://www.s4v9e3.cn/m/41035099.html
http://www.jrpsna.cn/m/42517055.html
http://www.z6r3c7.cn/m/86130144.html
http://www.w3s8a6.cn/m/10698238.html
http://www.t7a1q8.cn/m/83118942.html
http://www.g5m0x2.cn/m/49934149.html
http://www.r4g7k2.cn/m/16223774.html
http://www.tjyuce168.cn/m/46553780.html
http://www.klvvb.cn/m/92180097.html
http://www.njjingxinning.cn/m/36858777.html
http://www.tjyuce6.cn/m/96206314.html
http://www.sliekd.cn/m/29123793.html
http://www.bwtone.cn/m/39865376.html
http://www.hunhuntu.cn/m/52643766.html
http://www.qingmiaomiao.cn/m/92856717.html
http://www.kttjyhwy.cn/m/45793081.html
http://www.q1h9v4.cn/m/31092555.html
http://www.u9p5j1.cn/m/56193363.html
http://www.f6j3w8.cn/m/14490359.html
http://www.qingyani.cn/m/97198075.html
http://www.baizeycs.cn/m/68098864.html
http://www.ailinzhi.cn/m/76852714.html
http://www.lxpbw.cn/m/54716153.html
http://www.jxcanzhang.cn/m/37044249.html
http://www.qingyant.cn/m/28230782.html
http://www.huangzui.cn/m/74301198.html
http://www.bjzzvideo.cn/m/81030441.html
http://www.lmncbx.cn/m/30001673.html
http://www.b8c2l6.cn/m/10157829.html
http://www.rspwu.cn/m/44995925.html
http://www.xuanyuewenhua1314.cn/m/89722452.html
http://www.xajkyhs.cn/m/28124191.html
http://www.l5b1y9.cn/m/72567812.html
http://www.jianlibang.cn/m/92564590.html
http://www.e8t2m5.cn/m/38583111.html
http://www.fyghj.cn/m/23812363.html
http://www.klunn.cn/m/79366971.html
http://www.ymwmxi.cn/m/99882875.html
http://www.pxxzxtc.cn/m/72010213.html
http://www.qihss.cn/m/25786066.html
http://www.tjyuce8.cn/m/87156620.html
http://www.biefengwo.cn/m/86648649.html
http://www.gdiipxp.cn/m/72169266.html
http://www.p7q1z5.cn/m/79569040.html
http://www.huiju101.cn/m/33618849.html
http://www.xemvyl.cn/m/22446658.html
http://www.c7d4x3.cn/m/82477836.html
http://www.suheqing.cn/m/46622543.html
http://www.poypwb.cn/m/60521426.html
http://www.h1y5r7.cn/m/62905785.html
http://www.n2d8f4.cn/m/65121731.html
http://www.rylvyw.cn/m/42584757.html
http://www.t56985.cn/m/65760206.html
http://www.yjkf568.cn/m/89113495.html
http://www.hygsk.cn/m/34582009.html
http://www.itoeps.cn/m/35496704.html
http://www.k3w6b9.cn/m/43764793.html
http://www.qlgyio.cn/m/55225243.html
http://www.vqid.cn/m/93113473.html
http://www.d9n4t2.cn/m/97390575.html
http://www.kythf.cn/m/55081090.html
http://www.qihll.cn/m/76455869.html
http://www.yyjkgg.cn/m/70811290.html
http://www.odteuz.cn/m/34087091.html
http://www.grkqvf.cn/m/71227787.html
http://www.youan66.cn/m/89971137.html
http://www.xiaofengyu.cn/m/94414866.html
http://www.xiaofengluo.cn/m/37538059.html
http://www.ituf.cn/m/40385422.html
http://www.xiaoniaohuichong.cn/m/50697022.html
http://www.itoj.cn/m/38157300.html
http://www.zysvjr.cn/m/73246647.html