Grocery store

KafKa动态扩容群集-(Topic.partitions迁移)

kafka的扩容难点:1)主要在于增加机器之后,数据需要rebalance到新增的空闲节点,即把partitions迁移到空闲机器上。kafka提供bin/kafka-reassign-partitions.sh工具,完成parttition的迁移。 2)kafka的集群的数据量加大,数据rebalance的时间较长。解决办法是把log.retention.hours=1设置一小时(生产参数......

ZABBIX monitoring Flume

ZABBIX monitoring FlumeFlume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用......

ELK架构梳理-之ES2.4双实例平滑升级至5.2.1踩坑并supervisor管理笔记

ELK架构梳理:实时日志分析作为掌握业务情况、故障分析排查的一个重要手段,目前使用最多最成熟的莫过于ELK方案,整体方案也有各种架构组合,像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等,复......

KafKa不懂就学就问就解答笔记

1. 部署生产环境,打算部署三个broker实例,但zookeeper部署一个可以吗?1答案:可以是可以,但为了容错还是部署zookeeper集群比较好。broker和zookeeper的对应比例倒是没什么,都是独立集群。 2. kafka集群为什么需要zookeeper来配合?1答案:zookeeper 是作为性能协调工具的角色存在。存储着你Kafka服务的一些些元数据(partiti......

Bigdata-Zookeeper集群日志配置详解和清理自定义启动内存

Zookeeper集群日志配置详解和清理自定义启动内存问题:搭建zookeeper和kafka集群运行大数据处理数据消费,公司dubbo使用zookeeper做服务端的服务发现管理及配置中心,在使用时都出现过由于zk的日志大小过大塞满磁盘的情况 ,遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如......