推荐8种目前Python使用率最高的文本处理工具

crbrave 2018-10-30

文本处理一般包括词性标注,句法分析,关键词提取,文本分类,情感分析等等,这是针对中文的,如果是对于英文来说,只需要基本的tokenize。本文为大家提供了以下这些工具包。

推荐8种目前Python使用率最高的文本处理工具

关注后私信小编 PDF领取十套电子文档书籍

1.Jieba

【结巴中文分词】做最好的 Python 中文分词组件

其功能包括支持三种分词模式(精确模式、全模式、搜索引擎模式),支持繁体分词,支持自定义词典等。

推荐8种目前Python使用率最高的文本处理工具

推荐8种目前Python使用率最高的文本处理工具

代码主页:https://github.com/fxsjy/jieba

2.NLTK

【NLTK】一个构建Python程序以使用人类语言数据的领先平台,被称为“使用Python进行教学和计算语言学工作的绝佳工具”,以及“用自然语言进行游戏的神奇图书馆”。

推荐8种目前Python使用率最高的文本处理工具

推荐8种目前Python使用率最高的文本处理工具

官方主页:http://www.nltk.org/

代码主页:https://github.com/nltk/nltk

3.TextBlob

【TextBlob】是一个用于处理文本数据的Python(2和3)库。它为潜入常见的自然语言处理(NLP)任务提供了一个简单的API,例如词性标注,名词短语提取,情感分析,分类,翻译等。

推荐8种目前Python使用率最高的文本处理工具

推荐8种目前Python使用率最高的文本处理工具

官方主页:http://textblob.readthedocs.org/en/dev/

代码主页:https://github.com/sloria/textblob

4.MBSP for Python

【MBSP】是一个文本分析系统,基于CLiPS和ILK开发的基于TiMBL和MBT内存的学习应用程序。它提供了用于标记化和句子分裂,词性标注,分块,词形还原,关系查找和介词短语附件的工具。

推荐8种目前Python使用率最高的文本处理工具

推荐8种目前Python使用率最高的文本处理工具

官方主页:http://www.clips.ua.ac.be/pages/MBSP

5.Gensim

【Gensim】是一个免费的Python库

  • 可扩展的统计语义
  • 分析纯文本文档的语义结构
  • 检索语义相似的文档

推荐8种目前Python使用率最高的文本处理工具

推荐8种目前Python使用率最高的文本处理工具

官方主页:http://radimrehurek.com/gensim/index.html

代码主页:https://github.com/piskvorky/gensim

6.langid.py

【langid.py 】是一个独立的语言标识(LangID)工具。接受过97种语言的预训练(ISO 639-1代码),培训数据来自5个不同的来源:JRC-Acquis、ClueWeb 09、维基百科、路透社RCV2和Debian i18n。

推荐8种目前Python使用率最高的文本处理工具

代码主页: https://github.com/saffsd/langid.py

7. xTAS

【 xTAS】是基于Celery的分布式文本分析套件。部分xtas使用GPL许可软件,例如Stanford NLP工具,以及可能产生额外限制的数据集,检查文档中的各个功能。

推荐8种目前Python使用率最高的文本处理工具

代码主 页: https://github.com/NLeSC/xtas

8.Pattern

【Pattern】是Python编程语言的Web挖掘模块。它具有数据挖掘工具(谷歌,Twitter和维基百科API,网络爬虫,HTML DOM解析器),自然语言处理(词性标注,n-gram搜索,情感分析,WordNet),机器学习(矢量)空间模型,聚类,SVM),网络分析和<canvas>可视化。

推荐8种目前Python使用率最高的文本处理工具

官方主页:http://www.clips.ua.ac.be/pattern

相关推荐