luciuschan 2011-06-30
什么是分词?如何分词搜索引擎会承认?这许多朋友向我提的问题,想必大家也听说过,很好奇,什么是分词技术,什么又是百度分词呢?分词大家容易理解。就是一段词用字符分开,比如标点符号,空格等。
那什么叫分词技术呢?分词技术就是SE针对用户提交查询的关键串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。大家好好理解。那么我们要理解分词技术先要理解一个概念。那就是查询处理,当用户向搜索引擎提交查询后,搜索隐藏接收到用户的信息要做一系列的处理。首先是到数据库里面索引相关的信息,
下面,我们一起来学习一下百度中文分词原理,百度是如何来分词的呢?分词技术现今非常成熟了。他分为3种技术。
1.字符串匹配的分词方法
2.词义分词法。
3.统计分此法。
先说第一种。
也是常用的分词法,百度就是用此种分词。字符串匹配的分词方法,他又分为3中分词方法。
1.正向最大匹配法
什么意思呢?就是把一个词从左至右来分词。
举个例子。
“不知道你在说什么”
这句话采用正向最大匹配法是如何分的呢?“不知道,你,在,说什么”与正向最大匹配法相对应的是反向最大匹配发。这是第二种分词方法。
2.反向最大匹配法
来分上面我举的例子是如何分的呢 "不知道你在说什么"。反向最大匹配法来分上面这段是如何分的。“不,知道,你在,说,什么”,这个就分的比较多了,反向最大匹配法就是从右至左。
3.就是最短路径分词法
这个什么理解呢 ,就是说 我一段话里面要求切出的词数是最少的。还是上面哪句话
“不知道你在说什么”最短路径分词法就是指,我把上面哪句话分成的词要是最少的。不知道,你在,说什么,这就是最短路径分词法,分出来就只有3个词了 。好了,当然还有上面三种可以相互结合组成一些分词方法。比如正向最大匹配法和反向最大匹配法组合起来就可以叫做双向最大匹配法。好了,第一种说完了,
2.词义分词法
这种其实就是一种机器语音判断的分词方法。很简单,进行句法、语义分析,利用句法信息和语义信息来处理歧义现象来分词,这种分词方法,现在还不成熟。处在测试阶段。
第三种,统计的分词方法
这个很简单,就是根据词组的统计,就会发现两个相邻的字出现的频率最多,那么这个词就很重要。就可以作为用户提供字符串中的分隔符。这样来分词。比如,“我的,你的,许多的,这里,这一,那里”。等等,这些词出现的比较多,就从这些词里面分开来。好了,分词技术讲完了。
我们以举例子说明吧!让大家更加容易理解百度中文分词原理,其实百度的中文分词原理相当有意思,且好玩,通过例子小编为大家展示百度中文分词原理。例如:南宁SEO,如何来分呢?正向最大匹配,反向最大匹配,双向最大匹配,最短链接匹配。小编截图与大家说明,方便大家理解。
1.正向最大匹配
“南宁,SEO”
2.反向最大匹配
“南宁SEO”
3.双向最大匹配
“南宁,SEO”
4.最短路径最大匹配。
“南宁SEO”好了,我们分了词为
“南宁,“SEO,南宁SEO,南宁,SEO ,南宁SEO。”
这些词每个都可以做一个主题页为目标关键词
这些分出来的词,把他们都作为你站点的主题页,导入链接权重上来了,竞争力就大了,因为这些页面把他内链起来。用锚链接,指向主页的目标关键词。呵呵,这就是分词的好处。他能够提升目标关键词的排名的竞争力也同时给站点带来一定流量。一旦导入链接权重上来了,竞争力就大了,因为这些页面把他内链起来。