kafka基础命令

jiangkai00 2020-03-20

kafka名词解释
1.producer:
  消息生产者,发布消息到 kafka 集群的终端或服务。
2.broker:
  kafka 集群中包含的服务器。
3.topic:
  每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。
4.partition:
  partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
5.consumer:
  从 kafka 集群中消费消息的终端或服务。
6.Consumer group:
  high-level consumer API 中,每个 consumer 都属于一个 consumer group,
  每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
7.replica:
  partition 的副本,保障 partition 的高可用。
8.leader:
  replica 中的一个角色, producer 和 consumer 只跟 leader 交互。
9.follower:
  replica 中的一个角色,从 leader 中复制数据。
10.controller:
  kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
12.zookeeper:
  kafka 通过 zookeeper 来存储集群的 meta 信息。
kafka命令:
#1.[启动zookeeper]
bin/zookeeper-server-start.sh -daemon /usr/local/kafka/kafka_2.12-0.11.0.0/config/zookeeper.properties
#2.[启动kafka]
bin/kafka-server-start.sh -daemon config/server.properties

#查看topic列表
bin/kafka-topic.sh --list --zookeeper 127.0.0.1:2181
#通过控制台x消费某个topic的数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-beginning
#查看topic的消费进度
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group test123 --topic test
bin/kafka-run-class.sh  kafka.tool

#
sh bin/kafka-server-start.sh config/server.properties
#
bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

#
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test-reliability-consumer-group --describe
#
bin/kafka-topic.sh --zookeeper 127.0.0.1:2181 --topic testReliability --describe

#
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test-reliability-consumer-group --describe

#
./bin/zookeeper-server-start.sh ./config/zookeeper.properties
sh bin/kafka-server-start.sh config/server.properties

#
./bin/kafka-topic.sh --create --zookeeper 127.0.0.1:2181 --replication-factor l --partitions 3 --topic tklmk-copic-bjp
#
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic policy-topic --time -1


1.查看topic的详细信息  

./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1  

2、为topic增加副本  

./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute  

3、创建topic 

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1  

4、为topic增加partition  

./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1  

5、kafka生产者客户端命令  

./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1  

6、kafka消费者客户端命令  

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1  

7、kafka服务启动  

./kafka-server-start.sh -daemon ../config/server.properties   

8、下线broker  

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60  

shutdown broker  

9、删除topic  

./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181  

./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1  

10、查看consumer组内消费的offset  

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1

相关推荐

xinglun / 0评论 2020-06-14