mengyue 2020-05-02
-------------------------lucene---------------------------
1.lucene是一个开放源代码的全文检索引擎工具包,它不是一个完整的全部检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎。
2.非结构化数据查询方法:
(1).顺序扫描法 例子 windows的搜索
(2).全文检索 部分信息建立索引 好比我们的字典
3.lucene的原理: 倒排索引 ,不是由记录确定属性值,而是由属性值来去确定记录的位置。归结为一句话 倒排指的是把【文章-关键字】的关系颠倒为【关键字-文章】
4.lucene分词 创建一个标准分词器,一个字分成一个词
5.lucene的三个关键点是分词、索引、存储
-----------------------es-----------------------------------
1.es是开源 高扩展 分布式 全文检索引擎。底层是lucnee.隐藏复杂的api操作
2.es和solr的的对比
共同之处
(1)底层都是lucene,全文检索引擎
不同之处
(1) 单纯的检索,solr速度更快,边实时的建立索引边检索的时候,solr会阻塞,es更快
(2)solr不支持实时的搜索
3.elk elasticsearch logstash kibana 收集日志,分析 过滤,然后存入es中,检索之后会显示。相互配合
4.
es关闭与开启
ps uax|grep elasticsearch|grep -v grep|awk ‘{print "kill "$2}‘|sh
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。