如何用BPE分词器处理大语言模型词表外的未登录词

如何用BPE分词器处理大语言模型词表外的未登录词

1024KB1024KB 人工智能与大模型 2026-11-08 13:47:11 浏览 77134 字数 2656

BPE分词器通过迭代合并高频字符子串的方式构建子词词表,从根本上解决了大语言模型面对未登录词时的编码困境。大语言模型无法直接理解词表之外的词汇,而BPE分词器将任意文本拆解为词表中存在的子词序列,让模型无需更新参数即可处理新词、拼写变体和多语言文本。这种基于数据驱动构建的词表机制,已经成为GPT系列、LLaMA系列等主流大语言模型的默认分词方案。

BPE分词算法的工作机制

BPE(Byte Pair Encoding,字节对编码)本质上是一种数据压缩算法,在分词场景中表现为自底向上的子词合并过程。算法从一个字符级别的初始词表出发,统计语料中所有相邻符号对的共现频率,每次迭代把最高频的符号对合并为新的符号,重复此过程直到词表达到预设大小。

def bpe_merge(corpus, vocab_size):
    # 初始化:将语料拆分为字符序列
    vocab = set(char for word in corpus for char in word)
    word_freqs = Counter(corpus)
    
    while len(vocab) < vocab_size:
        # 统计所有相邻字符对的频率
        pair_freqs = Counter()
        for word, freq in word_freqs.items():
            symbols = word.split()
            for i in range(len(symbols) - 1):
                pair_freqs[(symbols[i], symbols[i+1])] += freq
        
        # 找出最高频的字符对
        best_pair = max(pair_freqs, key=pair_freqs.get)
        if pair_freqs[best_pair] < 2:
            break
        
        # 合并最高频字符对,更新词表
        merged = ''.join(best_pair)
        vocab.append(merged)
        # 更新所有包含该字符对的词条
        for word in list(word_freqs):
            word_freqs[word] = word_freqs[word].replace(
                ' '.join(best_pair), merged)

合并规则的优先级完全由语料中的共现频率决定,频率越高的子串越早被合并为独立词元。例如英文中常见的"th""er""ing"等后缀会在合并初期被识别,而"un""re"等前缀也会在频率驱动下成为独立词元。

未登录词问题的本质

未登录词指的是模型训练语料中从未出现过,因而无法在固定词表中找到对应词元的词汇。任何固定词表的语言模型都会遇到这个开放词汇问题,包括专有名词、新兴网络用语、科学术语、多语言混合文本等场景。

传统词级分词面对未登录词时只能输出[UNK]标记,这会直接丢失词汇的全部语义信息。字符级分词虽然能覆盖所有可能输入,却把每个词拆成过长的序列,显著增加模型的计算开销,并丢失词内部的形态学信息。BPE分词器提供的子词粒度恰好处于两者之间:高频词保留完整词元,低频词和未登录词被拆解为有意义的子词单元。

BPE分词为何成为大语言模型的标配

主流大语言模型在分词环节不约而同选择了BPE,核心原因在于其字节级实现(BBPE,Byte-level BPE)能够实现真正的全字符覆盖。GPT-2、GPT-3、GPT-4、LLaMA、Qwen、DeepSeek等模型均采用基于字节的BPE分词器,将文本先映射为UTF-8字节序列再进行合并操作。

字节级BPE的最大优势在于词表规模可控且无需[UNK]标记。UTF-8编码定义明确的字节范围,任意Unicode字符都能由1至4个字节表示。基于字节构建初始词表,词表大小从理论上限约256个字节出发,通过合并迭代最终增长为3万到25万不等的词元数量。任何输入文本经过UTF-8编码后都能拆解为字节序列,因此词表不存在覆盖不到的情况。

不同分词器的词表策略对比

分词器词表构建方式未登录词处理代表模型
BPE逐步合并最高频字符对拆解为字节级子词GPT-4、LLaMA、Qwen
WordPiece按似然增益选择合并对拆解为子词或输出UNKBERT、DistilBERT
Unigram基于语言模型概率剪枝按路径分解为最可能子词序列ALBERT、T5
SentencePiece可搭配BPE或Unigram直接以子词或字节处理LLaMA、Mistral

WordPiece与BPE的区别在于合并标准:前者选择能最大程度提升训练数据似然概率的符号对,后者只看合并后的符号在语料中的出现频率。实际效果差异不大,但WordPiece在遇到无法拆解的词时会回退到[UNK]。Unigram分词器则完全反向操作,从一个超大词表出发不断剪除对整体似然贡献最低的词元。

训练BPE分词器的实战步骤

训练BPE分词器可以借助Hugging Face的tokenizers库在数分钟内完成,完整流程分为六个环节。第一步准备训练语料,语料的领域分布直接决定词表质量,训练语料应尽量覆盖目标应用场景中的文本类型。

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.pre_tokenizers import ByteLevel

# 初始化字节级BPE分词器
tokenizer = Tokenizer(BPE())
tokenizer.pre_tokenizer = ByteLevel(add_prefix_space=False)

# 配置词表大小和特殊词元
trainer = BpeTrainer(
    vocab_size=32768,
    special_tokens=["<s>", "<pad>", "</s>", "<unk>", "<mask>"],
    min_frequency=2,
    show_progress=True
)

# 在语料文件上训练
tokenizer.train(files=["corpus.txt"], trainer=trainer)

# 保存分词器
tokenizer.save("byte-level-bpe.json")

词表规模的设定需要综合考虑模型参数量、训练数据规模和部署资源约束。据Hugging Face官方研究显示,词表从3万增长到10万,模型嵌入层参数规模增长约3.3倍,同时推理阶段矩阵运算量呈线性增长。较大的词表虽然降低序列长度,却在嵌入层和输出层引入大量额外参数。

BPE词表构建中的三个关键坑

第一个坑是数字的碎片化表示。BPE分词器倾向于将每个数字单独切分,例如"2024"会被拆为"20""24"而非整体词元,这在涉及年份、价格、编号等数字密集型场景中会拉长序列长度。据Anthropic的研究人员在技术博客中的分析,数字的碎片化分词会降低模型对数值的大小比较和算术推理能力,推荐在预分词阶段将连续数字合并为独立token。

第二个坑是空白符处理方式不一致。不同分词器对空格的前缀标记策略不同,GPT系列在词元前添加空格标记(Ġ),而SentencePiece将空格转换为下划线字符。如果针对中文、日文等无空格语言的语料训练分词器,需要设置合理的add_prefix_space参数,否则模型对空格的有无会表现出异常敏感。

第三个坑是合并规则的随机性。同一种子词的合并顺序可能因语料中噪音内容的影响而偏离最优方案,导致某些罕见但语义完整的词被过度拆分。推荐在训练BPE前对语料进行清洗去重,使用min_frequency参数过滤低频字符对,必要时从多个随机采样语料训练并对比词表的覆盖率指标。

评估BPE分词器效果的标准

评估BPE分词器的质量不能只看词表大小和编码速度,应该从交叉熵、平均词元长度和词汇覆盖率三个维度来判断。cross_perplexity指标衡量分词结果输入语言模型后对下一个词元预测的困惑度,困惑度越低代表分词结果越符合模型的语义空间。

  • 编码效率:每个原始词对应的平均词元数,值越小代表压缩效率越高
  • 词表覆盖:词表中词元对训练语料的覆盖率,高频词应保持完整形态
  • 语言的形态一致性:形态学上相关的词是否被拆解为共享的公共前缀或词根
  • OOV(Out-of-Vocabulary)率:在测试集上无法编码的单词比例,字节级BPE理论上为零

Hugging Face在其官方文档中建议:使用目标领域的小型测试集测量平均词元长度,并通过观察分词器在错拼词、大小写变体和未登录专有名词上的分词输出,来人工判断词表的结构合理性。

中文场景下BPE分词的特殊考量

中文文本没有天然的空格分隔,BPE分词器在中文字符级别的合并逻辑与英文存在本质差异。将中文字符直接作为初始词元时,BPE倾向于把高频汉字组合如"我们""的""中国"等合并为双字词元,却难以捕捉跨词的上下文语义关系。

中文大语言模型通常采用两种路线:一种使用像Jieba这样的预分词工具先将中文切分为词语再做子词合并,另一种直接以中文字符或字节为单元学习合并规则。完全基于字节的中文BPE词表规模通常需要更大才能获得理想的压缩率,而基于预分词的方案会引入分词误差传播问题。在工程实践中,多语言模型的BPE分词器在中文上优先采用字符级处理,让合并规则从语料中自然涌现出高频词组。

从Word2Vec到BERT再到GPT的算法演进路径

BPE分词在自然语言处理历史中的地位,建立在从静态词向量到动态上下文表示的方法论变革之上。Word2Vec时代的固定词表需要为每个词维护独立的嵌入向量,新词无法获得向量表示;BERT引入WordPiece后,模型可为词表中不存在的词生成有效的上下文嵌入;GPT系列全面转向字节级BPE后,从架构层面消除了词表覆盖的天花板。

Google研究团队在《Neural Machine Translation of Rare Words with Subword Units》(2018)中验证了BPE对罕见词翻译质量提升的效果,Facebook AI Research随后将BPE扩展至跨语言场景,证明其能在共享词表中桥接多种语言的形态关联。GPT-2使用的字节级BPE词表正是这一研究成果的直接延续。

选择还是放弃BPE取决于具体任务:词级别的分类和检索任务中使用WordPiece或BPE并未表现出显著差异,而生成式任务和机器翻译中BPE的子词覆盖能力则起到决定性作用。当面对偏门语言、专业领域术语或高噪音用户输入时,使用字节级BPE分词器是确保模型不产生无效输出的工程基线。

分享到:

评论

加载中...
我
还没有评论,快来抢沙发吧~