FileBeat+ElasticSearch+Kibana 实时日志系统搭建从入门到放弃小白玩大数据日志分析系统经典入门实操篇

大数据实时日志系统搭建

距离全链路跟踪分析系统第二个迭代已经有一小阵子了，由于在项目中主要在写ES查询\Storm Bolt逻辑，都没有去搭建实时日志分析系统，全链路跟踪分析系统采用的开源产品组合为FileBeat、Kafka、LogStash、Elastic、Storm，外加自主前端、自定义日志。今天挤出时间，选用FileBeat、ElasticSearch、Kibana搭建了一个实时日志系统。搭建之前，看了一下Elastic Stack产品组织中的LogStash，一般建议FileBeat输出到LogStash，再由LogStash到ElasticSearch，今天的实操并没有使用到kafka、LogStash、Storm，这是明天的主餐，感兴趣的可以关注公众号，明天接着看。

看完本篇文章，您可以有以下收获：

a)您能够搭建一个实时的日志分析系统，并能知道如何处理遇到的问题。

b)您将了解Elastic+Kibana在日志分析、商业大屏、航空看板、商业分析的应用，并能结合自身公司的业务情况，有选择的为公司实施大数据，提升公司的数据价值挖掘能力。

c)看不懂，包教包会

作为一篇有态度的技术文章，先把本次实操感受写在前面。

一、ElasticSearch-head揪心之作

1.1 揪心之作

部署完ElasticSearch，没有UI界面，这跟很多开源产品的现状很像，apache出品的不少开源产品，好多UI也是丑丑的。elasticsearch-head作为ElasticSearch UI的空白，算是一个惊喜，在Github上获得了5000多个星星，梦想中的星星数量啊。揪心的是，用起来，就是有点不爽啊，滚动条拖到尾部才能找到，也是丑丑的~复杂查询也是不够好用~

1.2 部署经验

npm install跑不成功，yarn install成功跑起来。最好将源改为国内大厂源，不然，应该是直接失败吧。

1.3 开源收获粉丝还是存在很多机会

ElasticSearch-head弥补了ElasticSearch UI确实，还有优化空间。kibana也有完善空间。

二、安全问题也许就是网上教程传出来的

ElasticSearch默认不允许跨域，网上查到的解决处理是

http.cors.enabled: true

http.cors.allow-origin: “*”

对于正式使用的话，还是有些风险的。自己玩弄着完是可以，真正使用的话，要限定一下。这招防君子不防小人。

三、完美的不可用产品kibana

这么说可能会引起kibana粉丝的不爽，对于一个全链路跟踪系统来讲，kibana真的是满足不了，kibana有着非常漂亮的UI，灵活的可视化呈现，却无法适应我们的业务场景，或者说，就着kibana的话，会付出更多的二次开发成本。kibana有着丰富的可视化组件，却没有我们所需的调用图。全链路跟踪分析系统没有使用kibana，而是自主研发的前端。

kibana有对于现有产品IIS\Apache\Mysql\服务器等等，都有数据采集组件，可以对系统所采用的软件进行监控。对于特定的业务，需要二次开发，比较复杂的业务的话，需要在kibana基础上进行二次开发，会比较麻烦。

四、FileBeat只是Beat产品中的一个

今天看资料才发现,Beat产品组中还有很多，FileBeat只是其中一个，目前完整组合是Filebeat，Metricbeat，Packetbeat，Winlogbeat，Auditbeat，Heartbeat，Functionbeat！全方位收集日志，监控无所不及。我们只用FileBeat~

五、跑开源产品不要怕报错

虽然会吓一跳，但是仔细看提示，还是能看到错误提示中给出的解决办法。

5-1. 跑FileBeat收集IIS Log时，会发现，ElasticSearch中查到的结果显示正则解析失败！

因为默认的grok规则配置是记录所有IIS字段，而IIS默认的log没有输入所有的字段，打造IIS站点日志配置，将其他没有输出的字段都勾选上。

尴尬：grok的正则写法丢到Match Tracer（一个正则调试工具）中，直接懵圈了，放一条日志进去匹配不到。字段对不上。

配置现场：

filebeat-6.5.4-windows-x86_64\module\iis\access\ingest\default.json

除了iis module,还有很多丰富的module备选，apache2,auditd,elasticsearch,haproxy,icinga,iis,kafka,kibana,logstash,mongodb,mysql,nginx,osquery,postgresql,redis,suricata,system,traefik

5-2.使用IIS module，要开启相应的插件

不要慌，报错上面有提示，跑2条命令。玩开源啊，要有看报错的准备，从报错中看答案。看不出来再去搜索~

六、where is Ambari

Apache Ambari能傻瓜式的部署安装Hadoop，Elastic系列产品少了一个类似的产品。对于开源届来讲，不了一个统一的傻瓜式部署平台。如果有的话，请留言告诉我哈~

七、where is 智能调优

一堆产品组合成一个解决方案，人肉调优好心碎，也不专业。

八、 Kibana机器学习初感

初看，是看不出什么内涵，就罗列了一堆维度，看不出什么机器学习的能力。好像一个营销噱头，也可能我没有看到kibana的机器学习功力。

能坚持看完吐槽的小伙伴，真的是铁丝。接下来会将本次实验的步骤截图展示出来。很多都是网上可以查到的！也不要太失望，我截了不少效果图，对于不想动手搭建环境的老铁，可以直接看效果图，再决定要不要玩起来。

部署说明，本次搭建的实时日志分析系统用到了FileBeat,ElasticSearch,Kibana，都可以从官方网站www.elastic.co直接下载。elasticsearch-head请从github上下载。基本上都是开箱即用的，只有少部分要调整，依据我的部署说明来，应该能通关，如有遇到解决不了的问题，也要可以在公众号中留言提问，我会解救你。

部署步骤：

前置：安装jdk,我用的1.8版本，自行安装解决。

安装elasticsearch-6.5.4
elasticsearch-head
kibana-6.5.4-windows-x86_64
filebeat-6.5.4-windows-x86_64

不要怕，都是解压出来就能跑

大数据实时日志系统搭建文件目录

1.安装elasticsearch-6.5.4

解压出来，跑 elasticsearch-6.5.4\bin\elasticsearch.bat

跑完，可以查看localhost:9200，能查看到类似以下界面！纯接口，人类表示无法看，于是要安装一个elasticsearch-head，类似一个管理查看的。

elasticsearch_9200安装成功效果图

2.安装elasticsearch-head

将https://github.com/mobz/elasticsearch-head

克隆或者下载到本店，下载一个node.js，安装好

因为这个东东需要用到node.直接到node.js上下载一个，一路next，就安装好了node.js。

cmd进入到elasticsearch-head的目录

依次输入

yarn install

yarn start

命令说明：yarn install是恢复elasticsearch-head引用到的包，yarn start是用于启动。当然，也可以使用npm install,npm start，最终效果是一样的，如果你没有安装yarn的话，可以用npm。因为资源可能在国外，所以执行命令会慢，等一等，如果失败的话，请更换成国内的源。（可以搜索，也可以来问我哈）

见证奇迹的时刻来了：