Yancy's blog

SIMPLICITY IS PREREQUISITE FOR RELIABILITY

秋意群山,醉美25KM标毅线,挑战自己😼

🍓 再不动弹,我们就要生锈了,在杭四,五年了,还没有真正旅游过西湖周边的景区,年初参加了户外俱乐部这次是第三次的登山活动,也非常有意义纪念。

...read more

Logstash分享,online生产环境的使用,online日志规范。

Logstash分享,online生产环境的使用,online日志规范。

写这篇文章,主要分享几点: 因为学所有学,既然学何不深度去了解~

  1. 什么是Logstash?
  2. logstash运行在什么环境下对应的版本是多少?
  3. logstash工作原理?
  4. online日志现在是如何规范?
  5. 如何写logstash收集conf文件?

...read more

KafKa从0.8.2.1升级到0.9.0.1变化方案与步骤

🍊我这里是采用,群集升级,全部更新停止老版本zk和kafka更新服务。

9.0.0有潜在的中断更改风险(在升级之前需要知道),并且与之前版本的broker之间的协议改变。这意味着此次升级可能和客户端旧版本不兼容。因此在升级客户端之前,先升级kafka集群。如果你使用MirrorMaker下游集群,则同样应首先升级。

...read more

ZABBIX monitoring Flume

ZABBIX monitoring Flume

Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。
另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压力。目前我们最为关心的是Flume能否及时把应用端发送过来的日志写到Hdfs上, 对应关注的metrics为:

Source : 接收的event数和处理的event数
Channel : Channel中拥堵的event数
Sink : 已经处理的event数

...read more

ELK架构梳理-之ES2.4双实例平滑升级至5.2.1踩坑并supervisor管理笔记

ELK架构梳理:

实时日志分析作为掌握业务情况、故障分析排查的一个重要手段,目前使用最多最成熟的莫过于ELK方案,整体方案也有各种架构组合,像rsyslog->ES->kibana、rsyslog->Redis->Logstash->ES->kibana、rsyslog->kafka->Logstash->ES->kibana等等,复杂点的有spark的引用。

...read more

KafKa不懂就学就问就解答笔记

1. 部署生产环境,打算部署三个broker实例,但zookeeper部署一个可以吗?

1
答案:可以是可以,但为了容错还是部署zookeeper集群比较好。broker和zookeeper的对应比例倒是没什么,都是独立集群。

...read more

Bigdata-Zookeeper集群日志配置详解和清理自定义启动内存

Zookeeper集群日志配置详解和清理自定义启动内存

问题:

搭建zookeeper和kafka集群运行大数据处理数据消费,公司dubbo使用zookeeper做服务端的服务发现管理及配置中心,在使用时都出现过由于zk的日志大小过大塞满磁盘的情况 ,遇到了Zookeeper日志问题输出路径的问题, 发现zookeeper设置log4j.properties不能解决日志路径问题, 发现解决方案如下。

zookeeper日志说明

ZooKeeper使用SLF4J(the Simple Logging Facade for Java)作为日志的抽象层,默认使用Log4J来做实际的日志工作。使用2层日志抽象看起来真是够呛,这里简要的说明如何来配置Log4J。尽管Log4J非常灵活且强大,但它也有一些复杂,可以用一整本书来描述它,这里只是简要的介绍一下基本的用法。

...read more

Monitor Kafka with Prometheus +Grafana

Monitoring Kafka with Prometheus

We’ve previously looked at how to monitor Cassandra with Prometheus. Let’s see the process for getting metrics from another popular Java application, Kafka.

...read more

📖 more posts 📖