CentOS下部署Kafka

Kafka简介

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

官网：http://kafka.apache.org/
下载：http://kafka.apache.org/downloads

安装Kafka

（1）安装Kafka

# mkdir /data/server
# tar -zxf kafka_2.12-2.2.0.tgz -C /data/server/
# mv /data/server/kafka_2.12-2.2.0 /data/server/kafka
# cd /data/server

（2）启动zk：kafka依赖zookeeper，需要先启动zookeeper。安装包自带zookeeper，可以直接启动，如果已经单独安装zookeeper的话，就不需要重启启动，如果需要再启动一个zookeeper，修改下zookeeper的配置文件，修改端口，不要造成端口冲突，zk的默认端口是2181。 启动命令：

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

（3）启动kafka：需要先修改kafka配置文件：修改 kafka-server 的配置文件config/server.properties，修改其中的broker.id和log位置。然后启动kafak服务，kafka默认端口9092。

配置broker.id必须是一个整数，且不可以和其他的kafak代理节点的值重复，即每个kafka节点为一个broker，拥有唯一的id值。

broker.id=1
listeners=PLAINTEXT://192.168.1.10:9092  #192.168.165.239为本机IP
log.dir=/data/logs/kafka.logs
zookeeper.connect=192.168.1.11:2181

启动命令：

bin/kafka-server-start.sh config/server.properties

后台启动：

bin/kafka-server-start.sh -daemon config/server.properties

单机多BROKER 集群配置：新生成几个配置文件config/server1.properties、config/server2.properties。然后，修改里面的配置文件broker.id、 log.dir、 listeners分别指定不同的broker、日志文件位置、监听端口。然后分别使用这些配置文件启动即可。

测试Kafka

创建 TOPIC，使用kafka-topics.sh创建单分区单副本的topic test：

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic 列表：

bin/kafka-topics.sh --list --zookeeper localhost:2181

启动生产者，使用kafka-console-producer.sh发送消息：

bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test

启动消费者，使用kafka-console-consumer.sh接收消息并在终端打印：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.1.10:9092 --topic test --from-beginning