Lucene的学习

编码之路 2019-12-26

一,什么是全文检索

1.数据的分类

1.结构化数据

  格式固定,长度固定,数据类型固定。

  例如:数据库中的数据;

2.非结构化数据

  word文档,pdf文档,邮件,html,txt

  格式不固定,长度不固定,数据类型也不固定

2.数据的查询

1,结构化数据的查询

  Sql语句,查询结构化数据的方法。简单,速度快。

2.非结构化数据的查询

  例如:从文本文件中找出包含spring的单词的文件

  1.目测

  2.使用程序代码来实现,把文件读取到内存中,匹配字符串,顺序扫描。

  3.把结构化数据变成结构化数据

    (先根据空格进行字符串拆分,得到一个单词列表,基于单词列表创建一个索引 )  

     索引:一个为了提高查询速度,创建某种数据结构的集合

     然后 查询索引,根据单词和文档对应关系找到文档列表,这个过程就叫全文检索

3.全文检索

先创建索引,然后查询索引的过程,就叫做全文检索。(创建索引时间较长,但是一次创建可以多次使用,平均每次查询的速度就提高了速度)

二,全文搜索的应用场景

1,搜索引擎

  百度,360搜索,谷歌,搜狗

2,站内搜索

  论坛搜索,微博搜索,文章搜索

3,电商搜索

  淘宝搜索,京东搜索

4,只要是有搜索的地方,就可以使用到全文检索技术

三,什么是Lucene

Lucene是一个基于java开发的全文检索工具包,java开发中Lucene首选。

四,Lucene实现全文检索的流程。

1,创建索引

  1)获得文档

      原始文档:要基于那些数据来进行搜索,那么这些数据就是原始文档

      搜索引擎:使用爬虫获得原始文档

      站内搜索:数据库中的数据。使用jdbc到数据库中取

      案列:直接使用io流读取磁盘上的文件。

  2)构建文档对象

      对应每个原始文档,来创建Document对象。

      每个Document对象中包含多个域(Field)

      域中保持原始文档的数据。

         域的名称;域的值;

         每个文档都有一个文档的编号,就是文档id

  3)分析文档

      就是分词的过程

      1.根据空格进行拆分,得到一个单词列表

      2.把单词统一转化成大写或者小写

      3.去掉标点符号

      4.去掉停用词(停用词:无意义的词;如:and)

      每个关键词都封装成一个Term对象中,Term中包含两部分内容:关键词包含的域;关键词本身;(不同的域中拆分出来的关键词是不同的Term)

  4)创建索引

      基于关键词列表来创建一个索引,保存到磁盘中,保存到索引库中。

      索引库中包含:

            索引

            Document对象

            关键词和文档的对应关系

      通过词语找文档,这种索引的结构就叫倒排索引结构

2,查询索引 

  1)用户查询接口

      用户输入查询条件的地方

      例如:百度的搜索框

  2)把关键词封装成一个查询对象

      要查询的域

      要搜索的关键词

  3)执行查询

      根据要查询的关键词到对应的域中进行搜索

      找到关键词,根据关键词来找到对应的文档

  4)渲染结果

      根据文档的id找到文档的对象

      对关键词进行高亮显示

      分页显示

      最终展示出给用户展示

相关推荐