|
|
|
|
|
|
|
# logstash调研
|
|
|
|
|
|
|
|
1. 如果elasticsearch是我们已经决定用的技术栈,那么日志处理可以决定用Logstash，因为ETK(ElasticSearch,Logstash,Kibana)已经是一套很完整的日志解决方案。
|
|
|
|
* EastiSearch是基于Lucene开发的分布式存储检引擎，用来存储各类日志;
|
|
|
|
* Logstash对日志进行收集、分析，并将其存储供以后使用;
|
|
|
|
* Kibana 是基于Node.js开发的展示工具，为Logstah和ElasticSearch提供用于日志展示的Web界面，还用于帮助汇总、分析和搜索重要日志数据。
|
|
|
|
* ETK原理如下：
|
|
|
|
在所有需要收集日志的服务上部署Logstash,Logstash agent用于监控并过滤所收集的日志，将过滤后的内容整合在一起，最终全部交给EastiSearch检索引擎；用EastiSearch进行自定义检索;再通过Kibana通过结合自定义检索内容生成图表，进行日志数据展示。
|
|
|
|
* 系统架构图如下：
|
|
|
|
|
|
|
|
2. ETK阿里云价格(以一年为单位)如下：
|
|
|
|
* elasticsearch 3个数据节点(2H4G) 需要 9000+
|
|
|
|
* logstash 1个数据节点(1H2G) 需要 2800+ 
|
|
|
|
|
|
|
|
3. 个人建议如下：
|
|
|
|
* 如果我们服务器的配置足够的话，可以由我们自己使用docker搭建，网上关于ETK的教程算是蛮多的，B站上面也有很多教学视频，搭建不算困难。
|
|
|
|
* 如果我们服务器配置不是很够，我建议可以购买elasticsearch服务，这个比较吃资源，然后由我们手动搭建logstash服务。 |
|
|
\ No newline at end of file |
