超全面！手把手教您用 ELK 分析 Nginx 日志
一、前言
這篇文章介紹的是單獨監(jiān)控nginx 日志分析再進(jìn)行可視化圖形展示，并在用戶前端使用nginx 來代理kibana的請求響應(yīng)，訪問權(quán)限方面暫時使用HTTP 基本認(rèn)證加密用戶登錄。（關(guān)于elk權(quán)限控制，我所了解的還有一種方式－Shield），等以后有時間了去搞下。下面開始正文吧。。。
注意：環(huán)境默認(rèn)和上一篇大致一樣，默認(rèn)安裝好了E、L、K、3個軟件即可。當(dāng)然了，還有必需的java環(huán)境JDK
nginx日志文件其中一行：
218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/"
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Saf
nginx 服務(wù)器日志的log_format格式:
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
二、配置logstash
1、修改配置文件，/etc/logstash/conf.d下。創(chuàng)建一個新的配置文件，內(nèi)容如下:
[root@log-monitor ~]# cat /etc/logstash/conf.d/nginx_access.conf
input {
file {
path => [ "/data/nginx-logs/access.log" ]
start_position => "beginning"
ignore_older => 0
}
}
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
}
geoip {
source => "http_x_forwarded_for"
target => "geoip"
database => "/etc/logstash/GeoLiteCity.dat"
add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]
}
mutate {
convert => [ "[geoip][coordinates]", "float" ]
convert => [ "response","integer" ]
convert => [ "bytes","integer" ]
replace => { "type" => "nginx_access" }
remove_field => "message"
}
date {
match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
}
mutate {
remove_field => "timestamp"
}
}
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "logstash-nginx-access-%{+YYYY.MM.dd}"
}
stdout {codec => rubydebug}
}
2、文件內(nèi)容大致解釋
input 段：
- file：使用file 作為輸入源
- path: 日志的路徑，支持/var/log.log，及[ “/var/log/messages”, “/var/log/.log” ] 格式
- start_position: 從文件的開始讀取事件。
另外還有end參數(shù)
- ignore_older: 忽略早于24小時（默認(rèn)值86400）的日志，設(shè)為0，即關(guān)閉該功能，以防止文件中的事件由于是早期的被logstash所忽略。
filter段：
grok:數(shù)據(jù)結(jié)構(gòu)化轉(zhuǎn)換工具
- match：
匹配條件格式，將nginx日志作為message變量，并應(yīng)用grok條件NGINXACCESS進(jìn)行轉(zhuǎn)換
geoip: 該過濾器從geoip中匹配ip字段，顯示該ip的地理位置
- source：
ip來源字段，這里我們選擇的是日志文件中的最后一個字段，如果你的是默認(rèn)的nginx日志，選擇第一個字段即可(注：
這里寫的字段是/opt/logstash/patterns/nginx 里面定義轉(zhuǎn)換后的)
- target：
指定插入的logstash字?jǐn)嗄繕?biāo)存儲為geoip
- database：
geoip數(shù)據(jù)庫的存放路徑
- add_field: 增加的字段，坐標(biāo)經(jīng)度
- add_field: 增加的字段，坐標(biāo)緯度
mutate：數(shù)據(jù)的修改、刪除、類型轉(zhuǎn)換
- convert：將坐標(biāo)轉(zhuǎn)為float類型
- convert：http的響應(yīng)代碼字段轉(zhuǎn)換成 int
- convert：http的傳輸字節(jié)轉(zhuǎn)換成int
- replace：替換一個字段
- remove_field：移除message 的內(nèi)容，因為數(shù)據(jù)已經(jīng)過濾了一份，這里不必在用到該字段了。不然會相當(dāng)于存兩份
date: 時間處理，該插件很實用，主要是用你日志文件中事件的事件來對timestamp進(jìn)行轉(zhuǎn)換，導(dǎo)入老的數(shù)據(jù)必備！在這里曾讓我困惑了很久哦。別再掉坑了
- match：匹配到timestamp字段后，修改格式為dd/MMM/yyyy:HH:mm:ss Z
mutate：數(shù)據(jù)修改
- remove_field：移除timestamp字段。
output段：
elasticsearch：輸出到es中
- host：es的主機ip＋端口或者es 的FQDN＋端口
- index：為日志創(chuàng)建索引logstash-nginx-access-＊，這里也就是kibana那里添加索引時的名稱
3、創(chuàng)建 grok 表達(dá)式
創(chuàng)建logstash配置文件之后，我們還要去建立grok使用的表達(dá)式，因為logstash 的配置文件里定義的使用轉(zhuǎn)換格式語法，先去logstash的安裝目錄，默認(rèn)安裝位置：/opt/logstash/下，在該位置創(chuàng)建一個目錄patterns，如下所示：
root@log-monitor ~]# mkdir -pv /opt/logstash/patterns
在該目錄下創(chuàng)建格式文件，如下內(nèi)容：
[root@log-monitor ~]# cat /opt/logstash/patterns/nginx
NGUSERNAME [a-zA-Z.@-+_%]+
NGUSER %{NGUSERNAME}
NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} "%{IPV4:http_x_forwarded_for}"
注:該格式的最后有一個http_x_forwarded_for，因為我們?nèi)罩臼菃⒂昧薱dn代理的。日志的第一段都是cdn的，最后一段才是真正客戶的ip。
需要分析的nginx日志路徑不在默認(rèn)的位置，所以我根據(jù)logstash 的配置，建個目錄先，并將日志文件拷貝進(jìn)去：
[root@log-monitor ~]# mkdir -pv /data/nginx-logs/
[root@log-monitor ~]# ll /data/nginx-logs/
total 123476
-rw-r--r-- 1 nginx adm 126430102 Sep 9 16:02 access.log
4、配置IP庫
然后就是logstash中配置的GeoIP的數(shù)據(jù)庫解析ip了，這里是用了開源的ip數(shù)據(jù)源，用來分析客戶端的ip歸屬地。官網(wǎng)在這里:MAXMIND
先把庫下載到本地，如下操作
[root@log-monitor ~]# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
解壓到當(dāng)前路徑，并將它移動到上述我們配置的路徑下，當(dāng)然其它路徑也是可以的，不過logstash 的配置文件也需要更改，如下：
[root@log-monitor ~]# gzip -d GeoLiteCity.dat.gz
[root@log-monitor ~]# mv GeoLiteCity.dat /etc/logstash/.
測試下logstash 的配置文件，使用它自帶的命令去測試，如下：
[root@log-monitor ~]# /opt/logstash/bin/logstash -t -f /etc/logstash/conf.d/nginx_access.conf
Configuration OK
注：-t -f 參數(shù)順序不能亂，格式就是定死的，-f 后面要跟配置文件
三、配置Elasticsearch
1、修改es的配置文件
[root@log-monitor ~]# egrep -v '^#|^$' /etc/elasticsearch/elasticsearch.yml
node.name: es-1
path.data: /data/elasticsearch/
network.host: 127.0.0.1
http.port: 9200
其它內(nèi)容都保持默認(rèn)。主要修改了es的數(shù)據(jù)存放路徑，它默認(rèn)的路徑在根目錄下，由于容量太小，而/data容量大。根據(jù)你的實際情況考慮而定。創(chuàng)建數(shù)據(jù)存放目錄：
[root@log-monitor ~]# mkdir -pv /data/elasticsearch
修改該文件的權(quán)限
[root@log-monitor ~]# chown -R elasticsearch.elasticsearch /data/elasticsearch/
重啟服務(wù)
[root@log-monitor ~]# systemctl restart elasticsearch
[root@log-monitor ~]# systemctl restart logstash
檢查服務(wù)狀態(tài)
[root@log-monitor ~]# netstat -ulntp | grep java
tcp6 0 0 127.0.0.1:9200 :::* LISTEN 25988/java
tcp6 0 0 127.0.0.1:9300 :::* LISTEN 25988/java
[root@log-monitor ~]# systemctl status logstash
查看logstash日志
[root@log-monitor ~]# tail -f /var/log/logstash/logstash.log
{:timestamp=>"2016-09-09T16:14:26.732000+0800", :message=>"Pipeline main started"}
查看es里的索引，應(yīng)該已經(jīng)在倒入數(shù)據(jù)了，如下
[root@log-monitor ~]# curl 'localhost:9200/_cat/indices?v'
health status index pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana 1 1 1 0 3.1kb 3.1kb
yellow open logstash-nginx-access-2016.09.08 5 1 69893 0 24.2mb 24.2mb
yellow open logstash-nginx-access-2016.09.09 5 1 339 0 273.8kb 273.8kb
從上面看到數(shù)據(jù)已經(jīng)在慢慢的導(dǎo)入了。大概需要一段時間，因為涉及到日志的過濾寫入等。不過也很快啦。我們暫時不去配置kibana。先去安裝nginx做個代理。
四、安裝nginx 配置kibana代理
1、安裝nginx
[root@log-monitor ~]# wget https://nginx.org/packages/rhel/7/x86_64/RPMS/nginx-1.10.0-1.el7.ngx.x86_64.rpm
[root@log-monitor ~]# yum localinstall nginx-1.10.0-1.el7.ngx.x86_64.rpm –y
然后新建一個elk.conf配置文件，內(nèi)容如下(刪除默認(rèn)的配置文件：
[root@log-monitor ~]# cat /etc/nginx/conf.d/elk.conf
upstream elk {
ip_hash;
server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
server 172.17.0.1:5601 max_fails=3 fail_timeout=30s;
}
server {
listen 80;
server_name localhost;
server_tokens off;
#close slow conn
client_body_timeout 5s;
client_header_timeout 5s;
location / {
proxy_pass http://elk/;
index index.html index.htm;
#auth
auth_basic "ELK Private,Don't try GJ!";
auth_basic_user_file /etc/nginx/.htpasswd;
}
}
2、http基本認(rèn)證
[root@log-monitor ~]# yum install httpd-tools –y
新建用戶：
[root@log-monitor ~]# htpasswd -cm /etc/nginx/.htpasswd elk
New password:
Re-type new password:
Adding password for user elk
啟動nginx，并檢查狀態(tài)
[root@log-monitor ~]# systemctl start nginx
[root@log-monitor ~]# netstat -ultpn | grep :8888
tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 26424/nginx: master
3、配置防火墻
由于我們最終是使用8888端口對外提供服務(wù)的，所以kibana的5601，以及es的9200、9300端口都不需要對外
[root@log-monitor ~]# iptables -I INPUT -p tcp -m state --state NEW --dport 8888 -j ACCEPT
4、驗證網(wǎng)站是否可正常訪問
輸入我們建立的elk用戶，登陸后，可以正常的訪問kibana界面即可，如下圖：
添加一個索引，這個索引名字就是我們之前在logstash配置文件中導(dǎo)入es中的那個，本文中是logstash-nginx-access-*,如下圖：
查看索引，目前自由一個，設(shè)置為加星，即是discover默認(rèn)突出顯示的。
然后我們點擊Discover，即可看到我們倒入的數(shù)據(jù)了。如下圖：
最后這是我的dashboard，主要統(tǒng)計了web站點的客戶端ip地址歸屬地、總的http傳輸次數(shù)、top10 來源ip、top10 請求點擊頁面、錯誤請求趨勢、等等，如下，上幾張圖：
五、小結(jié)
ELK 優(yōu)勢：
1、針對網(wǎng)絡(luò)攻擊事件時，方便運維人員查找溯源。
2、日志集中收集存儲，方便后續(xù)分析
3、優(yōu)化業(yè)務(wù)、系統(tǒng)時，做到有據(jù)可依
