腊八粥 2019-07-01
1. 导入数据
首先,我们需要一些数据来支持我们的操作,这里我采用的是使用 filebeat 来采集数据到 es ,filebeat 也是 elastic 系列的产品,专门用来收集日志文件,使用十分的简单,在官网(下载地址)下载安装包解压,然后修改一下配置文件 filebeat.yml,具体的修改如下:
将 enabled 修改为 true,表示启用导入配置,然后在路径 paths 那里配置日志文件的地址。
然后修改输出设置,将数据输出到 es 中,这里需要配置 elasticsearch 的地址,我这里是 192.168.66.135:9201,你配置成自己在 es 的配置文件中设置的 ip 和 port 就行了。
启动 filebeat 的命令:./filebeat -e -c filebeat.yml -d "publish"
,这里需要确保 es 也是启动的状态,然后 filebeat 会连接到 es,将数据输出。
完成后,使用命令 curl -X GET "192.168.66.135:9201/_cat/indices?v"
查看创建的 index 情况:
2. 简单的命令操作
在 elasticsearch 中,数据是以文档的形式存放的,这也是它能支持全文本搜索的原因,有三个比较关键的概念需要理解一下,首先是 index,这个相当于关系型数据库中的一个数据库。还有 Type ,表示数据的分类,类似于数据库中的一个 table,es 的数据是以 json 格式表示的,每一条数据叫做 document。
只不过根据规划,es 6.x 版只允许每个 Index 包含一个 Type,7.x 版将会彻底移除 Type。
有了数据之后,接下来介绍一些查询数据的常用命令:
1. 数据
1.插入数据:
curl -X PUT "192.168.66.135:9200/megacorp/employee/1" -H 'Content-Type: application/json' -d' { "first_name" : "John", "last_name" : "Smith", "age" : 25, "about" : "I love to go rock climbing", "interests": [ "sports", "music" ] } '
上面的命令,在 index 为 megacorp,并且 Type 为 employee 下面创建了一条数据,id 是 1,如果不指定 id 的话,es 会自动生成。
注意:如果 es 中没有命令中的 index ,它会自动创建,所以,插入数据的时候,需要注意 index 名称的正确性。
2.更新数据,还是使用上面的命令,重新 PUT 即可。
3.删除数据,使用 DELETE 命令,例如删除上面插入的数据:curl -X DELETE "192.168.66.135:9200/megacorp/employee/1"
2. 索引
4.查看 es 中所有的 index 情况:curl -X GET "192.168.66.128:9200/_cat/indices?v"
5.删除 index :curl -X DELETE '192.168.66.135:9200/megacorp'
,删除名为 megacorp 的 index。
3. 搜索
6.查看 es 中的所有数据:http://192.168.66.128:9200/_search
,这条命令还可以加上一些其他的条件,例如:
http://192.168.66.128:9200/megacorp/_search
http://192.168.66.128:9200/megacorp1,megacorp2/_search
http://192.168.66.128:9200/megacorp/employee/_search
http://192.168.66.128:9200/_all/user1,user2/_search
7.简单搜索:例如要查找 source 下面 message 这一列的数据中,包含 了某个字符串(这里以 connect 为例)的所有记录:http://192.168.66.135:9201/filebeat-6.5.4-2019.04.06/_search?q=message:connect
8.全文搜索,可实现上面这种包含某个字符串的搜索,搜索的文本如下:
curl -X GET "192.168.66.135:9200/megacor/search" -H 'Content-Type: application/json' -d' { "query" : { "match" : { "message" : "connect" } } } '
9.搜索分页:
http://192.168.66.128:9200/megacorp/_search?size=50
http://192.168.66.128:9200/megacorp/_search?size=10&from=3
OK,今天就暂时介绍这么多了,后面再继续写。
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。