Yancy's blog

SIMPLICITY IS PREREQUISITE FOR RELIABILITY

秋意群山,醉美25KM标毅线,挑战自己😼

🍓 再不动弹,我们就要生锈了,在杭四,五年了,还没有真正旅游过西湖周边的景区,年初参加了户外俱乐部这次是第三次的登山活动,也非常有意义纪念。

...read more

KafKa从0.8.2.1升级到0.9.0.1变化方案与步骤

🍊我这里是采用,群集升级,全部更新停止老版本zk和kafka更新服务。

9.0.0有潜在的中断更改风险(在升级之前需要知道),并且与之前版本的broker之间的协议改变。这意味着此次升级可能和客户端旧版本不兼容。因此在升级客户端之前,先升级kafka集群。如果你使用MirrorMaker下游集群,则同样应首先升级。

...read more

ZABBIX monitoring Flume

ZABBIX monitoring Flume

Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。
另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上, 对应关注的metrics为:

Source : 接收的event数和处理的event数
Channel : Channel中拥堵的event数
Sink : 已经处理的event数

...read more

KafKa不懂就学就问就解答笔记

1. 部署生产环境,打算部署三个broker实例,但zookeeper部署一个可以吗?

1
答案:可以是可以,但为了容错还是部署zookeeper集群比较好。broker和zookeeper的对应比例倒是没什么,都是独立集群。

...read more

Bigdata-Zookeeper集群日志配置详解和清理自定义启动内存

Zookeeper集群日志配置详解和清理自定义启动内存

问题:

搭建zookeeper和kafka集群运行大数据处理数据消费,公司dubbo使用zookeeper做服务端的服务发现管理及配置中心,在使用时都出现过由于zk的日志大小过大塞满磁盘的情况 ,遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下。

zookeeper日志说明

ZooKeeper使用SLF4J(the Simple Logging Facade for Java)作为日志的抽象层,默认使用Log4J来做实际的日志工作。使用2层日志抽象看起来真是够呛,这里简要的说明如何来配置Log4J。尽管Log4J非常灵活且强大,但它也有一些复杂,可以用一整本书来描述它,这里只是简要的介绍一下基本的用法。

...read more

Monitor Kafka with Prometheus +Grafana

Monitoring Kafka with Prometheus

We’ve previously looked at how to monitor Cassandra with Prometheus. Let’s see the process for getting metrics from another popular Java application, Kafka.

...read more

Bigdata-Kafka-node模块实现调用js发送数据

mongodb写到kafka 指定topic消费。为了保证数据稳定可靠性。
配合大数据在countly 使用开源Kafka-node是一个Node.js客户端 写js程序让countly三台集群分别数据到kafka 做新的topic主题备份。

...read more

Bigdata-Cloudera Manager5及CDH5安装指导

问题导读:

1.什么是cloudera CM 、CDH?
2.CDH、CM有哪些版本?
3.CDH、CM有哪些安装方式?
4.CDH如何开发?

...read more

📖 more posts 📖