tokenizer
/ˈtoʊkənaɪzər/
EN
分词器，令牌生成器：自然语言处理等计算机领域中，将文本分割为独立单元（令牌/分词）的程序或工具
This open-source tokenizer works well for Chinese text processing.
这款开源分词器在中文文本处理中表现良好。
词源
该词源自词根token（令牌、符号）加上表示动作施动者的后缀-er，最早于20世纪中期计算机科学领域被创造使用。
助记
拆分记忆：token（令牌）+ -izer（表工具的后缀）→ 生成令牌的工具 → 分词器
常用搭配
subword tokenizerword tokenizerpretrained tokenizerBPE tokenizer
同义词
tokenizer tooltokenization tool
相关词汇
tokenizationtokenembeddingpreprocessingNLP