在自然语言理解中，词，token，是最小的能够独立活动的有意义的语言成分，将词确定下来是理解自然语言的第一步，只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取以及主题分析，以至自然语言理解，最终达到智能计算的最高境界，因此，每个NLP工作者都应掌握分词技术，1.分词的概念和分类，词，这个...