Natural Language Processing

分词器，令牌生成器：自然语言处理等计算机领域中，将文本分割为独立单元（令牌/分词）的程序或工具