sanamaz 2019-06-20
storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop
而之前部署的hbase、hive、spark等都或多或少的依赖hadoop
这里简单记录一下storm的部署过程
需要下载包:
zeromq:http://download.zeromq.org/ jzmq:http://mvnrepository.com/artifact/org.zeromq/jzmq storm:http://storm.apache.org/downloads.html zookeeper:http://zookeeper.apache.org/releases.html#download
然后现部署zeromq, 再部署jzmq
下载的都是源码,部署的时候直接./configure && make && make install即可
部署好之后还需要部署zookeeper
这里要下载好二进制文件
解压zookeeper,然后修改conf文件中的zoo.cfg tickTime=2000 dataDir=/var/zookeeper/ clientPort=2181 由于是单机版的,就只添加了这几个参数,其中目录需要自己先创建 启动zookeeper: bin/zkServer.sh start 测试: bin/zkCli.sh -server 127.0.0.1:2181
最后安装storm:
首先把storm解压 然后主要是把配置文件写好,这里需要注意的就是storm的配置文件是yaml格式,所以语法一定要注意 主要配置以下几项: storm.zookeeper.servers: -"2.2.2.2" #配置zookeeper server nimbus.host: "2.2.2.2" #相当于master服务地址 storm.local.dir: "/home/stormdata" #存储目录 ui.port: 18080 #ui的启动端口 supervisor.slots.ports: # supervisor相当于hadoop的datanode, 配置几个端口就会启动几个进程运行任务 -6700 -6701 -6702 -6703 storm.zookeeper.port: 4190 # 如果zookeeper使用的不是默认端口的话,就在这里配置
都配置好之后,就可以启动测试了,一般yaml配置文件写正确的话就没什么问题
storm nimbus storm supervisor storm ui 启动后可查看页面看是否启动成功:http://2.2.2.2:18080
后面再写一下storm的一些测试例子