KAFKA && zookeeper 集群安装

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

服务器：
#vim /etc/hosts
10.16.166.90 sh-xxx-xxx-xxx-online-01
10.16.168.220 sh-xx-xxx-xxx-online-02
10.16.167.15 sh-xxx-xxx-xxx-online-03

#vim /etc/yum.repos.d/cdh.repo
[myrepo]
name=myrepo
baseurl=http://172.19.30.51/cdh/5
enabled=1
gpgcheck=0

#yum install -y zookeeper-server zookeeper

vim /etc/zookeeper/conf/zoo.cfg

maxClientCnxns=100
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/data/zookeeper
# the port at which the clients will connect
clientPort=2181
# the directory where the transaction logs are stored.
dataLogDir=/data/zookeeper
autopurge.purgeInterval=6
autopurge.snapRetainCount=20
server.1=10.16.166.90:2888:3888
server.2=10.16.168.220:2888:3888
server.3=10.16.167.15:2888:3888

#mkdir -p /data/zookeeper

初始化zookeeper
# zookeeper-server-initialize
No myid provided, be sure to specify it in /services/data/hadoop/zookeeper/myid if using non-standalone

手动生成一个myid文件，id号根据填写配置文件中server.后面的号码
例如10.16.166.90
echo 1 > /data/zookeeper/myid

例如10.16.168.220
echo 2 > /data/zookeeper/myid

10.16.167.15
echo 3 > /data/zookeeper/myid

修改权限

#chown zookeeper.zookeeper /data/zookeeper/ -R

#ln -sf /usr/local/java/bin/java /usr/sbin/java

启动服务：
sudo service zookeeper-server start

安装kafka

wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

#vim /usr/local/kafka/config/server.properties

broker.id=1 #每台ID不一样
listeners=PLAINTEXT://10.16.166.90:9092 ##本地IP
host.name=10.16.166.90 #本地IP
num.network.threads=18
num.io.threads=24
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka
num.partitions=3
num.recovery.threads.per.data.dir=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=10.16.166.90:2181,10.16.168.220:2181,10.16.167.15:2181 ##三台集群
zookeeper.connection.timeout.ms=6000
default.replication.factor = 2
delete.topic.enable=true
unclean.leader.election.enable=false
min.insync.replicas=2

#mkdir /data/kafka

#启动kafka

#nohup bin/kafka-server-start.sh config/server.properties >> kafak.log 2>&1 &
测试KAFAKA；

创建 TOIIC
#kafka-topics.sh --create --zookeeper 10.16.166.90:2181 --replication-factor 2 --partitions 9 --topic dsperrorlog_test

打开消费者
#./kafka-console-consumer.sh --zookeeper 10.16.166.90:2181 --topic dsperrorlog_test
这里可以看到输入的东西

生产者：

#./kafka-console-producer.sh --broker-list 10.16.166.90:9092 --topic dsperrorlog_test
输入任何东西回车

增加JVM端口，

#vim kafka-server-start.sh

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx3G -Xms3G" ##修改
export JMX_PORT="9999" ##新增的
fi

##验证zookeeper-client 里面的kafka节点
#zookeeper-client ##
#ls /
#ls /brokers/ids
#get /brokers/ids/1
#get /brokers/ids/2

查看集群状态：

zookeeper-server status

停止：bin/kafka-server-stop.sh config/server.properties

KAFKA && zookeeper 集群安装的更多相关文章

kafka+zookeeper集群
参考: kafka中文文档快速搭建kafka+zookeeper高可用集群 kafka+zookeeper集群搭建 kafka+zookeeper集群部署 kafka集群部署 kafk ...

1、zookeeper集群安装
前提准备3台centos7.0虚拟机 c7003:192.168.70.103 c7004:192.168.70.104 c7005:192.168.70.105 并在三台虚拟机上配置hosts为 1 ...

原创：centos7.1下 ZooKeeper 集群安装配置+Python实战范例
centos7.1下 ZooKeeper 集群安装配置+Python实战范例下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...

hbase和ZooKeeper集群安装配置
一:ZooKeeper集群安装配置 1:解压zookeeper-3.3.2.tar.gz并重命名为zookeeper. 2:进入~/zookeeper/conf目录: 拷贝zoo_sample.cfg ...

Zookeeper集群安装Version3.5.1
Zookeeper集群安装,基于版本3.5.1, 使用zookeeper-3.5.1-alpha.tar.gz安装包. 1.安装规划 zookeeper集群模式,安装到如下三台机器 10.43.159 ...

ZooKeeper集群安装
ZooKeeper是Apache提供的.分布式服务协调系统,应用比較广泛. 由于项目中使用Kafka MQ,而Kafka全然使用ZooKeeper实现Kafka各组件的服务协调,包含Broker.Co ...

Kafka+Zookeeper集群搭建
上次介绍了ES集群搭建的方法,希望能帮助大家,这儿我再接着介绍kafka集群,接着上次搭建的效果. 首先我们来简单了解下什么是kafka和zookeeper? Apache kafka 是一个分布式的 ...

消息中间件kafka+zookeeper集群部署、测试与应用
业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大, ...

centos7下zookeeper集群安装部署
应用场景:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件. 它是一个为分布式应用提供一致性服务的软 ...

随机推荐

一步一步学Spring Boot 2 微服务项目实战 - 黄文毅-2018年8月第一次印刷
properties 配置文件的优先级高于.yml .在properties文件中配置了server.port=8080 同时在.yml中配置了server.port=8090 Spring Boo ...

webpack面试题
1.webpack的核心概念 Entry:入口,Webpack进行打包的起始点(文件) Output:出口,webpack编译打包生成的bundle(打包文件) Loader:模块加载(转换)器,将非 ...

android中实现service动态更新UI界面
案例:通过service向远程服务器发送请求,根据服务器返回的结果动态更新主程序UI界面,主程序可实时关闭或重启服务. 注册BroadcastReceiver 在主程序activity中注册一个Bro ...

Ansible-概念
控住节点任何装有Ansible的机器.您可以从任何控制节点调用/usr/bin/ansible或来运行命令和剧本/usr/bin/ansible-playbook.您可以将任何安装了Python的计 ...

动态路由 RIP
不同网段之间进行通信,中间有多个路由器的情况下,我们可以通过配置RIP动态路由来实现数据转发. 实验拓扑如图所示连接,地址规划如下: 名称接口 IP地址 R1 f0/0 192.168.10.1/ ...

layui 自定义字体图标扩展
layui的图标取自于阿里巴巴的矢量图标库 Iconfont,同样的,这篇教程也是基于Iconfont进行扩展. 第一步,通过浏览器打开 http://iconfont.cn/ ,访问阿里巴巴矢量图标 ...

Vim 简易配置
Macbook终端vim使用系统剪切板系统自带的, 可执行程序是 /usr/bin/vim, 安装目录是 /usr/share/vim/, 版本7.3. 我使用 homebrew 后顺手安装了一次 ...

c语言实现基本的数据结构（五）单链队列
#include <stdio.h> #include <tchar.h> #include <stdlib.h> #define MaxQueueSize 100 ...

JPA 报错：Page 2 of 1 containing UNKNOWN instances
JPA 中,page是从0开始,不是从1开始: 因此,将用户输入的从1开始的page页码减1: PageRequest pageRequest = PageRequest.of(page - 1, p ...

underscore 工具
=============== 通知: 博主已迁至<掘金>码字,博客园可能以后不再更新,掘金地址:https://juejin.im/post/5a1a6a6551882534af25a8 ...

正文

相关阅读

redis分布式锁watch，Redis分布式锁和Zookeeper分布式锁有什么区别?

redis分布式锁php，Redis分布式锁和Zookeeper分布式锁有什么区别?

ZooKeeper分布式专题与Dubbo微服务入门

Zookeeper分布式系统开发实战视频教程

ZooKeeper视频教程

2018尚硅谷大数据视频_Zookeeper视频教程

尚学堂大数据之ZooKeeper视频课程 ZooKeeper教程

Dubbo分布式系统架构视频教程-ZooKeeper-第三方支付项目精华课程全套

目录[+]