当前位置 博文首页 > Shockang的博客:Kafka 集群常用命令有哪些?

    Shockang的博客:Kafka 集群常用命令有哪些?

    作者:[db:作者] 时间:2021-08-23 22:10

    前言

    本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

    本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

    正文

    启停服务

    # 服务启动:
    ./kafka-server-start.sh -daemon ../config/server.properties 
    # 停止服务:
    kafka-server-stop.sh
    

    如果报错:No kafka server to stop

    修改kafka-server-stop.sh

    将 PIDS=$(ps ax | grep -i 'kafka.Kafka' | grep java | grep -v grep | awk '{print $1}')
    修改为 PIDS=$(jps -lm | grep -i 'kafka.Kafka' | awk '{print $1}')
    

    创建主题

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    

    查看主题

    bin/kafka-topics.sh --list --zookeeper localhost:2181
    

    发送消息

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
    This is a message
    This is another message
    

    消费消息

    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
    This is a message
    This is another message
    

    集群测试

    # 测试生产数据
    bin/kafka-producer-perf-test.sh --topic test-topic --num-records 500000 --record-size 200 --throughput -1 --producer-props bootstrap.servers=hadoop03:9092,hadoop04:9092,hadoop05:9092 acks=-1
    # 测试消费数据
    bin/kafka-consumer-perf-test.sh --broker-list hadoop03:9092,hadoop04:9092,hadoop53:9092 --fetch-size 2000 --messages 500000 --topic test-topic 
    
    cs