python 实现关键词提取(文末附赠教程分享)

tmaczt 2019-03-04

每个txt文件夹里面存放一个用户的全部微博数据,在result_all文件里面存放了全部用户的微博数据,这里实现读取每个用户的数据并为每个用户提取30个关键字。将为每个用户提取出来的关键字存放在同一个文件topic_all.txt文件里面。

需要关注的地方:

1.读取一个用户的全部数据时,注意区分read(), readline()和readlines()的区别,read()读取文件全部内容并存在一个字符串变量中,readline()每次只读取文件里面的一行,readlines()返回一个行的列表。

2.注意将一个列表以字符串表达的写法:','.join(list).例如:list = [1,2,3],则可输出1,2,3

代码如下:

python   实现关键词提取(文末附赠教程分享)

文本分析--关键词获取(jieba分词器,TF-IDF模型)

关键词获取可以通过两种方式来获取:

1、在使用jieba分词对文本进行处理之后,可以通过统计词频来获取关键词:jieba.analyse.extract_tags(news, topK=10),获取词频在前10的作为关键词。

2、使用TF-IDF权重来进行关键词获取,首先需要对文本构建词频矩阵,其次才能使用向量求TF-IDF值。

python   实现关键词提取(文末附赠教程分享)

最后,想学习Python的小伙伴们!

请关注+私信回复:“学习”就可以拿到一份我为大家准备的Python学习资料!

python   实现关键词提取(文末附赠教程分享)

pytyhon学习资料

python   实现关键词提取(文末附赠教程分享)

python学习资料

相关推荐