Flume 实时收集日志
Apr 25, 2016
在分布式系统中,各个机器都有程序运行的本地日志,有时为了分析需求,不得不这些分散的日志汇总需求,相信很多人会选择 Rsync,Scp 之类,但它们的实时性不强,而且也会带来名字冲突的问题。扩展性差强人意,一点也不优雅。
现实中,我们就碰到了这样的需求:实时汇总线上多台服务器的 Nginx 日志。Flume 立功了。
I dream of painting and then I paint my dream.
Apr 25, 2016
在分布式系统中,各个机器都有程序运行的本地日志,有时为了分析需求,不得不这些分散的日志汇总需求,相信很多人会选择 Rsync,Scp 之类,但它们的实时性不强,而且也会带来名字冲突的问题。扩展性差强人意,一点也不优雅。
现实中,我们就碰到了这样的需求:实时汇总线上多台服务器的 Nginx 日志。Flume 立功了。
Mar 28, 2016
ELK是指elastic提供的一整套数据收集,存储,搜索,及展示方案。 由于部署及扩容方便,非常适合小团队快速搭建数据分析平台。ELK分别代指 Elasticsearch,Logstash,Kibana三个产品。