在項目初期的時候，大家都是趕著上線，一般來說對日志沒有過多的考慮，當然日志量也不大，所以用log4net就夠了，隨著應用的越來越多，日志散落在各個服務器的logs文件夾下，確實有點不大方便，這個時候就想到了，在log4net中配置 mysql的數據源，不過這里面有一個坑，熟悉log4net的同學知道寫入mysql有一個batch的閾值，比如說batchcache中有100條，才寫入mysql，這樣的話，就有一個延遲的效果，而且如果batchcache中不滿100條的話，你在mysql中是看不到最新的100條日志。而且采用中心化的mysql，涉及到tcp傳輸，其中的性能大家也應該明白，而且mysql沒有一個好的日志界面，只能自己去寫UI，所以還還得繼續尋找其他的解決方案，也就是本篇的ELK。

一：ELK名字解釋

ELK就是ElasticSearch + LogStash + Kibana，這三樣搭配起來確實非常不錯，先畫張圖給大家看一下。

1. LogStash

它可以流放到各自的服務器上收集Log日志，通過內置的ElasticSearch插件解析后輸出到ES中。

2.ElasticSearch

這是一個基于Lucene的分布式全文搜索框架，可以對logs進行分布式存儲，有點像hdfs哈。。。

3. Kibana

所有的log日志都到ElasticSearch之后，我們需要給他展示出來，對吧？ 這個時候Kibana就出手了，它可以多維度的展示es中的數據。這也解決了

用mysql存儲帶來了難以可視化的問題。

二：快速搭建

上面只是名詞解釋，為了演示，我只在一臺CentOS上面搭建了。

1.  官方下載 :https://www.elastic.co/cn/products，在下面這張圖上，我們找到對應的三個產品，進行下載就好了。

[root@slave1 myapp]# ls
elasticsearch              kafka_2.11-1.0.0.tgz              nginx-1.13.6.tar.gz
elasticsearch-5.6.4.tar.gz  kibana                            node
elasticsearch-head          kibana-5.2.0-linux-x86_64.tar.gz  node-v8.9.1-linux-x64.tar.xz
images                      logstash                          portal
java                        logstash-5.6.3.tar.gz            service
jdk1.8                      logstash-tutorial-dataset        sql
jdk-8u144-linux-x64.tar.gz  nginx
kafka                      nginx-1.13.6
[root@slave1 myapp]#

我這里下載的是elasticsearch 5.6.4，kibana5.2.0 ，logstash5.6.3三個版本。。。然后用 tar -xzvf解壓一下。

2. logstash配置

解壓完之后，我們到config目錄中新建一個logstash.conf配置。

[root@slave1 config]# ls
jvm.options  log4j2.properties  logstash.conf  logstash.yml  startup.options
[root@slave1 config]# pwd
/usr/myapp/logstash/config
[root@slave1 config]# vim logstash.conf

然后做好input ，filter，output三大塊， 其中input是吸取logs文件下的所有log后綴的日志文件，filter是一個過濾函數，這里不用配置，output配置了導入到

hosts為127.0.0.1:9200的elasticsearch中，每天一個索引。

配置完了之后，我們就可以到bin目錄下啟動logstash了，配置文件設置為conf/logstash.conf，從下圖中可以看到，當前開啟的是9600端口。

[root@slave1 bin]# ls
cpdump            logstash      logstash.lib.sh  logstash-plugin.bat  setup.bat
ingest-convert.sh  logstash.bat  logstash-plugin  ruby                system-install
[root@slave1 bin]# ./logstash -f ../config/logstash.conf
Sending Logstash’s logs to /usr/myapp/logstash/logs which is now configured via log4j2.properties
[2017-11-28T17:11:53,411][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>”fb_apache”, :directory=>”/usr/myapp/logstash/modules/fb_apache/configuration”}
[2017-11-28T17:11:53,414][INFO ][logstash.modules.scaffold] Initializing module {:module_name=>”netflow”, :directory=>”/usr/myapp/logstash/modules/netflow/configuration”}
[2017-11-28T17:11:54,063][INFO ][logstash.outputs.elasticsearch] Elasticsearch pool URLs updated {:changes=>{:removed=>[], :added=>[http://127.0.0.1:9200/]}}
[2017-11-28T17:11:54,066][INFO ][logstash.outputs.elasticsearch] Running health check to see if an Elasticsearch connection is working {:healthcheck_url=>http://127.0.0.1:9200/, :path=>”/”}
[2017-11-28T17:11:54,199][WARN ][logstash.outputs.elasticsearch] Restored connection to ES instance {:url=>”http://127.0.0.1:9200/”}
[2017-11-28T17:11:54,244][INFO ][logstash.outputs.elasticsearch] Using mapping template from {:path=>nil}
[2017-11-28T17:11:54,247][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_template=>{“template”=>”logstash-*”, “version”=>50001, “settings”=>{“index.refresh_interval”=>”5s”}, “mappings”=>{“_default_”=>{“_all”=>{“enabled”=>true, “norms”=>false}, “dynamic_templates”=>[{“message_field”=>{“path_match”=>”message”, “match_mapping_type”=>”string”, “mapping”=>{“type”=>”text”, “norms”=>false}}}, {“string_fields”=>{“match”=>”*”, “match_mapping_type”=>”string”, “mapping”=>{“type”=>”text”, “norms”=>false, “fields”=>{“keyword”=>{“type”=>”keyword”, “ignore_above”=>256}}}}}], “properties”=>{“@timestamp”=>{“type”=>”date”, “include_in_all”=>false}, “@version”=>{“type”=>”keyword”, “include_in_all”=>false}, “geoip”=>{“dynamic”=>true, “properties”=>{“ip”=>{“type”=>”ip”}, “location”=>{“type”=>”geo_point”}, “latitude”=>{“type”=>”half_float”}, “longitude”=>{“type”=>”half_float”}}}}}}}}
[2017-11-28T17:11:54,265][INFO ][logstash.outputs.elasticsearch] New Elasticsearch output {:class=>”LogStash::Outputs::ElasticSearch”, :hosts=>[“//127.0.0.1”]}
[2017-11-28T17:11:54,266][INFO ][logstash.pipeline        ] Starting pipeline {“id”=>”main”, “pipeline.workers”=>2, “pipeline.batch.size”=>125, “pipeline.batch.delay”=>5, “pipeline.max_inflight”=>250}
[2017-11-28T17:11:54,427][INFO ][logstash.pipeline        ] Pipeline main started
[2017-11-28T17:11:54,493][INFO ][logstash.agent          ] Successfully started Logstash API endpoint {:port=>9600}

3. elasticSearch 

這個其實也是ELK中的核心，啟動的時候一定要注意，因為es不可以進行root賬戶啟動，所以你還需要開啟一個elsearch賬戶。

groupadd elsearch                  #新建elsearch組
useradd elsearch -g elsearch -p elasticsearch  #新建一個elsearch用戶
chown -R elsearch:elsearch  ./elasticsearch    #指定elasticsearch所屬elsearch組

接下來我們默認啟動就好了，什么也不用配置，然后在日志中大概可以看到開啟了9200，9300端口。

4. kibana

它的配置也非常簡單，你需要在kibana.yml文件中指定一下你需要讀取的elasticSearch地址和可供外網訪問的bind地址就可以了。

然后就是啟動，從日志中可以看出，當前開了5601端口。

5. 瀏覽器中輸入：http://192.168.23.151:5601/ 你就可以打開kibana頁面了，，默認讓我指定一個查看的Index。

接下來我們在本機的/logs文件夾下創建一個簡單的1.log文件，內容為“hello world”，然后在kibana上將logstash-*  改成 log* ，Create按鈕就會自動出來。

[root@slave1 logs]# echo ‘hello world’ > 1.log

進入之后，點擊Discover，你就可以找到你輸入的內容啦~~~~ 是不是很帥氣。。。

如果你裝了head安裝包，你還可以看到它確實帶了日期模式的Index索引，還自帶5個默認分片數。

好了，本篇就說這么多吧，希望對你有幫助。

更多ELK相關教程見以下內容：

基于CentOS 6.9搭建ELK環境指南  http://m.wangcai868.com/Linux/2017-07/145636.htm
Linux日志分析ELK環境搭建  http://m.wangcai868.com/Linux/2017-07/145494.htm
Logstash 監控日志文件時應對日志文件名改變的原理  http://m.wangcai868.com/Linux/2016-08/133994.htm
使用Elasticsearch + Logstash + Kibana搭建日志集中分析平臺實踐  http://m.wangcai868.com/Linux/2015-12/126587.htm
ELK日志管理平臺搭建教程  http://m.wangcai868.com/Linux/2018-07/153136.htm
CenttOS 6.6下部署ELK日志告警系統 http://m.wangcai868.com/Linux/2018-05/152192.htm
CentOS 7單機部署ELK  http://m.wangcai868.com/Linux/2017-11/148222.htm
CentOS 安裝 Logstash 2.2.0 和 Elasticsearch 2.2.0  http://m.wangcai868.com/Linux/2016-03/128794.htm

ELK日志管理平臺搭建教程  http://m.wangcai868.com/Linux/2018-07/153136.htm