Linux下Kafka分布式集群安装教程
作者:郭朝 时间:2023-07-09 06:54:16
Kafka(http://kafka.apache.org/) 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比:
Kafka 集群架构:
一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群,这里我们使用独立的 zk 集群,zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装。
这里 Linux 选择 CentOS 7.2。
# cd /usr/local
# mkdir kafka
# cd kafka
# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
# tar -zxvf kafka_2.11-1.0.0.tgz
# mkdir kafka-logs
# cd kafka_2.11-1.0.0/config
# vim server.properties
编辑配置文件 (配置项可以参考 http://kafka.apache.org/documentation.html#brokerconfigs) 为:
# 唯一标识,0开始
broker.id=0
# 服务器端口和ip
port=9092
host.name=192.168.2.20
# 日志数据保存的目录
log.dirs=/usr/local/kafka/kafka-logs
log.retention.hours=168
# 每条消息能够容纳的最大大小,默认1000012
message.max.bytes=5242880
# 默认的副本因子,即保存消息的副本数,默认1
default.replication.factor=2
# 取消息的最大直接数,默认1048576
replica.fetch.max.bytes=5242880
# 配置zk地址
zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181
启动 Kafka 之前需启动 Zookeeper,然后启动 Kafka,各个节点需单独启动:
# cd /usr/local/kafka/kafka_2.11-1.0.0/bin
# ./kafka-server-start.sh -daemon ../config/server.properties //后台启动服务
# jps //查看服务是否启动成功
# ./kafka-server-stop.sh //关闭服务
最后我们在三台不同的服务器上各部署一个 Kafka 进程,以构成一个 Kafka 集群。开始使用可以参考官方文档 http://kafka.apache.org/documentation.html#quickstart。
来源:http://blog.csdn.net/smartbetter/article/details/64190798
标签:Linux,Kafka
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
linux epoll机制详解
2023-08-05 07:01:20
![](https://img.aspxhome.com/file/2023/9/63479_0s.png)
为什么我们程序员难晋升
2011-08-18 18:35:36
改变WordPress 后台编辑器样式实现直接预览
2011-09-21 12:45:46
phpwind发布图片导购应用 可将图片变现为佣金
2011-10-21 21:07:38
而立之年老站长的十大网络创业忠告
2009-03-11 17:45:00
VMware虚拟机三种联网方法及原理(小结)
2023-10-08 17:38:49
关于搜索引擎优化的五十个一句话实用技巧
2008-12-10 13:32:00
黑客怎样攻破SQL服务器系统
2009-09-20 20:21:00
VirtualBox 配置虚拟网卡(桥接),实现主机-虚拟机网络互通(图文教程)
2021-12-01 14:57:44
![](https://img.aspxhome.com/file/2023/1/103441_0s.png)
如何设置Godaddy主机的企业邮局
2010-04-21 12:56:00
Linux 开发环境中为VirtualBox安装增强功能
2023-11-30 22:46:19
![](https://img.aspxhome.com/file/2023/4/105544_0s.png)
提高Web页面的性能(一)
2008-03-23 14:01:00
FTP服务器架设的三方面安全因素
2009-02-10 16:01:00
内网IP建ftp服务器教程
2009-02-12 13:30:00
![](https://img.aspxhome.com/file/UploadPic/20093/19/2009319181341543.gif)
事实证明百度真的是有回档的现象
2008-08-11 12:58:00
新手教程:用.htaccess实现二级域名功能
2010-05-12 23:49:00
世界博客服务稳定性评测
2009-03-30 16:18:00
![](https://img.aspxhome.com/file/UploadPic/20093/30/2009330162455305s.jpg)
从关键词分析看百度算法
2009-09-14 19:11:00
FTP服务器架设考虑三方面的安全因素
2009-01-22 16:03:00
用无线路由器构建FTP服务器
2009-02-09 16:41:00