log 收集处理方式汇总

syslog 比较老了,支持的的 log 类型也不是很多,比如 apache 的,默认是不支持 syslog 的,需要特殊的设置,这只是 apache 一个服务的 log,nginx 了?
如果有钱,可以考虑 splunk,全平台支持。免费的每天是 500MB,并且功能有限;收费的价格不是很便宜,并且用的量越多,收费越多。

有钱不如多买些机器,部署一些开源的服务,这比买现成的产品服务靠谱多了,这类服务跟 Oracle 类似,进去了比较难出来,还有个问题是,由于是按使用量计费,如果像 DNS 查询出错了,会在短时间內产生大量的 log,这会很快把一天的限额给用完。

商业的除了 splunk 之外,还有如下的几个:
1. loglogic
http://www.loglogic.com/

2. logrhythm
http://logrhythm.com/

3. loggly
http://www.loggly.com/

4. xpolog
http://www.xpolog.com/

5. LogScape
http://www.liquidlabs.com/main/index.php/products.html

6. sumologic
http://www.sumologic.com/

下面列的都是些开源的产品,有些做的还是相当不错的, 扩展性很强,不比 Splunk 差,排名没有先后。

1. ELSA(enterprise-log-search-and-archive)
http://code.google.com/p/enterprise-log-search-and-archive/
整合了 syslog-ng, MySQL, Sphinx,用来做集中化的 syslog 管理。功能比较局限,通过 Eventlog-to-Syslog 或者 Snare 可以收集 Cisco log, Snort/Suricata, Bro 等

2. Simple Log Watcher
http://sourceforge.net/projects/swatch/

3. Logwatch
http://sourceforge.net/projects/logwatch/
上面两个项目基本都停止了,算是工具类型的,处理的能力有限

4.Octopussy
http://www.octopussy.pm/dokuwiki/doku.php
这个是使用 perl 写的 log Analyzer, Alerter & Reporter。支持的类型比较多,不过并不能覆盖所有的类型。然后有个可以通过 rrd 出图

5. SEC – simple event correlator
http://simple-evcorr.sourceforge.net/

6. Clarity
http://github.com/tobi/clarity
一个类 splunk 的 log 搜索工具,通过 eventmachine 支持实时的显示

7. petit
http://crunchtools.com/software/petit/
能对一些关键词等进行统计分析

8. bunyan
https://github.com/ajsharp/bunyan
存储在 Mongo 中

9. nagios and check_mk
http://mathias-kettner.de/check_mk.html
一个 nagios 的插件

10. nolog
https://github.com/franzenzenhofer/nolog

11. logtrend
https://github.com/gorsuch/logtrend

12. log_roller
https://github.com/JacobVorreuter/log_roller

13. logplex
https://github.com/heroku/logplex

14. logster
https://github.com/etsy/logster
stsy 公布的,主要用来作为 Graphite 或者是 Ganglia 的 INPUT

15. logstash
http://www.logstash.net/
可以进行 collect, parse, store,然后可以进行 search,内嵌了一个 web 来搜索 log。有 agent, server 两种模式,可以搜集的 log 形式很多,比如 file, syslog, amqp 等。这个目前比较活跃,社区比较好

16. graylog2
http://www.graylog2.org/about
将 log 存储在 ES 中,server 端使用 java 完成,web interface 通过 ruby 完成,有 GELF 扩展来增加 log 收集的类型

17. scribe
https://github.com/facebook/scribe
FB 公布出来的一套处理 log 的系统,使用 thrift, hadoop 作为可选项

18. flume
https://github.com/cloudera/flume
cloudera 公布出来的一套 log 方案

19. chukwa
http://incubator.apache.org/chukwa/docs/r0.3.0/admin.html
hadoop based,HDFS 存储

20. nxlog
http://nxlog-ce.sourceforge.net/

  • Djbdjb00djb

    开源的方案你自己比较后有什么推荐的么?相对于 Splunk? 列出了20个开源选择,用户要比较太多了,我用过 16. graylog2

    • http://jaseywang.me/ Jasey Wang

       15 开始都不错,我了解的不少公司都在使用;最后几个都有互联网公司的支持。