xiaocao0 2019-10-29
安装:pip install jieba
导包:import jieba
精确模式:试图将句子最精确地切开,适合文本分析(很像人类一样去分词)
jieba.cut(字符串) --> 返回生成器
str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘ ret = jieba.cut(str) print(list(ret))
jieba.lcut(字符串) --> 返回列表
str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘ ret = jieba.lcut(str) print(ret)
全模式:把句子中所有的可以成词的词语都扫描出来,速度非常快,但是不能解决歧义(凡是词语全分)
jieba.cut(字符串, cut_all=True)
jieba.lcut(字符串, cut_all=True)
str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘ ret = jieba.lcut(str, cut_all=True) print(ret)
搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
jieba.cut_for_search(字符串)
jieba.lcut_for_search(字符串)
str = ‘小明硕士毕业于中国科学院计算所,后在日本京都大学深造‘ ret = jieba.lcut_for_search(str) print(ret)
添加词语:当遇到添加的词语不会进行分词
jieba.add_word(字符串)
str = ‘如何让一个IT论坛瞬间炸锅,答案是,PHP是世界上最好的语言‘ jieba.add_word(‘PHP是世界上最好的语言‘) ret = jieba.lcut(str) print(ret)