自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

你頭疼的ELK難題，本文幾乎都解決了

作者：alonghub
開源
Logstash是一個(gè)基于Java開發(fā)的程序，需要運(yùn)行在JVM中，可以通過配置jvm.options來針對JVM進(jìn)行設(shè)定。

 [[260211]]

一、ELK實(shí)用知識點(diǎn)總結(jié)

1、編碼轉(zhuǎn)換問題

這個(gè)問題，主要就是中文亂碼。

input中的codec=>plain轉(zhuǎn)碼：

  1. codec => plain { 
  2.          charset => "GB2312" 
  3. } 

將GB2312的文本編碼，轉(zhuǎn)為UTF-8的編碼。

也可以在filebeat中實(shí)現(xiàn)編碼的轉(zhuǎn)換(推薦)：

  1. filebeat.prospectors: 
  2. - input_type: log 
  3.   paths: 
  4.     - c:\Users\Administrator\Desktop\performanceTrace.txt 
  5.   encoding: GB2312 

2、刪除多余日志中的多余行

  1. if ([message] =~ "^20.*-\ task\ request,.*,start\ time.*") {   #用正則需刪除的多余行 
  2.             drop {} 
  3.     }  

日志示例：

  1. 2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59   #需刪除的行 
  2. -- Request String :  
  3. {"UserName":"15046699023","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End 
  4. -- Response String :  
  5. {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End 

3、grok處理多種日志不同的行

日志示例：

  1. 2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 
  2. -- Request String :  
  3. {"UserName":"15046699023","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End 
  4. -- Response String :  
  5. {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End 

在logstash filter中g(shù)rok分別處理3行：

  1. match => { 
  2.     "message" => "^20.*-\ task\ request,.*,start\ time\:%{TIMESTAMP_ISO8601:RequestTime}" 
  3. match => { 
  4.     "message" => "^--\ Request\ String\ :\ \{\"UserName\":\"%{NUMBER:UserName:int}\",\"Pwd\":\"(?<Pwd>.*)\",\"DeviceType\":%{NUMBER:DeviceType:int},\"DeviceId\":\"(?<DeviceId>.*)\",\"EquipmentNo\":(?<EquipmentNo>.*),\"SSID\":(?<SSID>.*),\"RegisterPhones\":(?<RegisterPhones>.*),\"AppKey\":\"(?<AppKey>.*)\",\"Version\":\"(?<Version>.*)\"\}\ --\ \End.*"     
  5. } 
  6. match => { 
  7.     "message" => "^--\ Response\ String\ :\ \{\"ErrorCode\":%{NUMBER:ErrorCode:int},\"Success\":(?<Success>[a-z]*),\"ErrorMsg\":(?<ErrorMsg>.*),\"Result\":(?<Result>.*),\"WaitInterval\":%{NUMBER:WaitInterval:int}\}\ --\ \End.*" 
  8. } 
  9. ... 等多行 

4、日志多行合并處理—multiline插件(重點(diǎn))

示例：

①日志

  1. 2018-03-20 10:44:01,523 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 
  2. -- Request String :  
  3. {"UserName":"15046699903","Pwd":"ZYjyh727","DeviceType":2,"DeviceId":"PC-20170525SADY","EquipmentNo":null,"SSID":"pc","RegisterPhones":null,"AppKey":"ab09d78e3b2c40b789ddfc81674bc24deac","Version":"2.0.5.3"} -- End 
  4. -- Response String :  
  5. {"ErrorCode":0,"Success":true,"ErrorMsg":null,"Result":null,"WaitInterval":30} -- End 

②logstash grok對合并后多行的處理。合并多行后續(xù)都一樣，如下：

  1. filter { 
  2. 　　grok { 
  3. 　　　　match => { 
  4. 　　　　　　"message" => "^%{TIMESTAMP_ISO8601:InsertTime}\ .*-\ task\ request,.*,start\ time:%{TIMESTAMP_ISO8601:RequestTime}\n--\ Request\ String\ :\ \{\"UserName\":\"%{NUMBER:UserName:int}\",\"Pwd\":\"(?<Pwd>.*)\",\"DeviceType\":%{NUMBER:DeviceType:int},\"DeviceId\":\"(?<DeviceId>.*)\",\"EquipmentNo\":(?<EquipmentNo>.*),\"SSID\":(?<SSID>.*),\"RegisterPhones\":(?<RegisterPhones>.*),\"AppKey\":\"(?<AppKey>.*)\",\"Version\":\"(?<Version>.*)\"\}\ --\ \End\n--\ Response\ String\ :\ \{\"ErrorCode\":%{NUMBER:ErrorCode:int},\"Success\":(?<Success>[a-z]*),\"ErrorMsg\":(?<ErrorMsg>.*),\"Result\":(?<Result>.*),\"WaitInterval\":%{NUMBER:WaitInterval:int}\}\ --\ \End" 
  5. 　　　　} 
  6. 　　} 
  7. } 

在filebeat中使用multiline插件(推薦)：

①介紹multiline

  • pattern：正則匹配從哪行合并;
  • negate：true/false，匹配到pattern 部分開始合并，還是不配到的合并。

match：after/before(需自己理解)

  • after：匹配到pattern 部分后合并，注意：這種情況末尾一行日志不會被匹配處理;
  • before：匹配到pattern 部分前合并(推薦)。

②5.5版本之后(before為例)

  1. filebeat.prospectors: 
  2. - input_type: log 
  3.   paths: 
  4.     - /root/performanceTrace* 
  5.   fields: 
  6.     type: zidonghualog 
  7.   multiline.pattern: '.*\"WaitInterval\":.*--\ End' 
  8.   multiline.negate: true 
  9.   multiline.match: before 

③5.5版本之前(after為例)

  1. filebeat.prospectors: 
  2. - input_type: log  
  3.      paths: 
  4.       - /root/performanceTrace* 
  5.       input_type: log  
  6.       multiline: 
  7.            pattern: '^20.*' 
  8.            negate: true 
  9.            match: after 

在logstash input中使用multiline插件(沒有filebeat時(shí)推薦)：

①介紹multiline

  • pattern：正則匹配從哪行合并;
  • negate：true/false，匹配到pattern 部分開始合并，還是不配到的合并。

what：previous/next(需自己理解)

  • previous：相當(dāng)于filebeat 的after;
  • next：相當(dāng)于filebeat 的before。

②用法

  1. input { 
  2.         file { 
  3.                 path => ["/root/logs/log2"] 
  4.                 start_position => "beginning" 
  5.                 codec => multiline { 
  6.                         pattern => "^20.*" 
  7.                         negate => true 
  8.                         what => "previous" 
  9.                 } 
  10.         } 
  11. } 

在logstash filter中使用multiline插件(不推薦)：

不推薦的原因：

  • filter設(shè)置multiline后，pipline worker會自動(dòng)降為1;
  • 5.5 版本官方把multiline 去除了，要使用的話需下載，下載命令如下：
  1. /usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline 

示例：

  1. filter { 
  2.   multiline { 
  3.     pattern => "^20.*" 
  4.     negate => true 
  5.     what => "previous" 
  6.   } 
  7. }  

5、logstash filter中的date使用

日志示例：

  1. 2018-03-20 10:44:01 [33]DEBUG Debug - task request,task Id:1cbb72f1-a5ea-4e73-957c-6d20e9e12a7a,start time:2018-03-20 10:43:59 

date使用：

  1. date { 
  2.                 match => ["InsertTime","YYYY-MM-dd HH:mm:ss "] 
  3.                 remove_field => "InsertTime" 
  4.         } 

注：match => ["timestamp" ,"dd/MMM/YYYY H:m:s Z"]

匹配這個(gè)字段，字段的格式為：日日/月月月/年年年年 時(shí)/分/秒 時(shí)區(qū)，也可以寫為：match => ["timestamp","ISO8601"](推薦)

date介紹：

就是將匹配日志中時(shí)間的key替換為@timestamp的時(shí)間，因?yàn)锧timestamp的時(shí)間是日志送到logstash的時(shí)間，并不是日志中真正的時(shí)間。

6、對多類日志分類處理(重點(diǎn))

在filebeat的配置中添加type分類：

  1. filebeat: 
  2.   prospectors: 
  3.     - 
  4.       paths: 
  5.         #- /mnt/data/WebApiDebugLog.txt* 
  6.         - /mnt/data_total/WebApiDebugLog.txt* 
  7.       fields: 
  8.         type: WebApiDebugLog_total 
  9.     - 
  10.       paths: 
  11.         - /mnt/data_request/WebApiDebugLog.txt* 
  12.         #- /mnt/data/WebApiDebugLog.txt* 
  13.       fields: 
  14.         type: WebApiDebugLog_request 
  15.     - 
  16.       paths: 
  17.         - /mnt/data_report/WebApiDebugLog.txt* 
  18.         #- /mnt/data/WebApiDebugLog.txt* 
  19.       fields: 
  20.         type: WebApiDebugLog_report 

在logstash filter中使用if，可進(jìn)行對不同類進(jìn)行不同處理：

  1. filter { 
  2.    if [fields][type] == "WebApiDebugLog_request" {   #對request 類日志 
  3.         if ([message] =~ "^20.*-\ task\ report,.*,start\ time.*") {   #刪除report 行 
  4.                 drop {} 
  5.         } 
  6.     grok { 
  7.         match => {"... ..."} 
  8.         } 
  9. } 

在logstash output中使用if：

  1. if [fields][type] == "WebApiDebugLog_total" { 
  2.     elasticsearch { 
  3.         hosts => ["6.6.6.6:9200"] 
  4.         index => "logstashl-WebApiDebugLog_total-%{+YYYY.MM.dd}" 
  5.         document_type => "WebApiDebugLog_total_logs" 
  6. }  

二、對ELK整體性能的優(yōu)化

1、性能分析

服務(wù)器硬件Linux：1cpu4GRAM

假設(shè)每條日志250Byte。

分析：

①logstash-Linux：1cpu 4GRAM

  • 每秒500條日志;
  • 去掉ruby每秒660條日志;
  • 去掉grok后每秒1000條數(shù)據(jù)。

②filebeat-Linux：1cpu 4GRAM

  • 每秒2500-3500條數(shù)據(jù);
  • 每天每臺機(jī)器可處理：24h*60min*60sec* 3000*250Byte=64,800,000,000Bytes，約64G。

③瓶頸在logstash從Redis中取數(shù)據(jù)存入ES，開啟一個(gè)logstash，每秒約處理6000條數(shù)據(jù);開啟兩個(gè)logstash，每秒約處理10000條數(shù)據(jù)(cpu已基本跑滿);

④logstash的啟動(dòng)過程占用大量系統(tǒng)資源，因?yàn)槟_本中要檢查java、ruby以及其他環(huán)境變量，啟動(dòng)后資源占用會恢復(fù)到正常狀態(tài)。

2、關(guān)于收集日志的選擇：logstash/filter

沒有原則要求使用filebeat或logstash，兩者作為shipper的功能是一樣的。

區(qū)別在于：

  • logstash由于集成了眾多插件，如grok、ruby，所以相比beat是重量級的;
  • logstash啟動(dòng)后占用資源更多，如果硬件資源足夠則無需考慮二者差異;
  • logstash基于JVM，支持跨平臺;而beat使用golang編寫，AIX不支持;
  • AIX 64bit平臺上需要安裝jdk(jre) 1.7 32bit，64bit的不支持;
  • filebeat可以直接輸入到ES，但是系統(tǒng)中存在logstash直接輸入到ES的情況，這將造成不同的索引類型造成檢索復(fù)雜，建議統(tǒng)一輸入到els 的源。

總結(jié)：

logstash/filter總之各有千秋，但是我推薦選擇：在每個(gè)需要收集的日志服務(wù)器上配置filebeat，因?yàn)檩p量級，用于收集日志;再統(tǒng)一輸出給logstash，做對日志的處理;然后統(tǒng)一由logstash輸出給els。

3、logstash的優(yōu)化相關(guān)配置

可以優(yōu)化的參數(shù)，可根據(jù)自己的硬件進(jìn)行優(yōu)化配置：

①pipeline線程數(shù)，官方建議是等于CPU內(nèi)核數(shù)

  • 默認(rèn)配置 ---> pipeline.workers: 2;
  • 可優(yōu)化為 ---> pipeline.workers: CPU內(nèi)核數(shù)(或幾倍CPU內(nèi)核數(shù))。

②實(shí)際output時(shí)的線程數(shù)

  • 默認(rèn)配置 ---> pipeline.output.workers: 1;
  • 可優(yōu)化為 ---> pipeline.output.workers: 不超過pipeline線程數(shù)。

③每次發(fā)送的事件數(shù)

  • 默認(rèn)配置 ---> pipeline.batch.size: 125;
  • 可優(yōu)化為 ---> pipeline.batch.size: 1000。

④發(fā)送延時(shí)

  • 默認(rèn)配置 ---> pipeline.batch.delay: 5;
  • 可優(yōu)化為 ---> pipeline.batch.size: 10。

總結(jié)：

通過設(shè)置-w參數(shù)指定pipeline worker數(shù)量，也可直接修改配置文件logstash.yml。這會提高filter和output的線程數(shù)，如果需要的話，將其設(shè)置為cpu核心數(shù)的幾倍是安全的，線程在I/O上是空閑的。

默認(rèn)每個(gè)輸出在一個(gè)pipeline worker線程上活動(dòng)，可以在輸出output中設(shè)置workers設(shè)置，不要將該值設(shè)置大于pipeline worker數(shù)。

還可以設(shè)置輸出的batch_size數(shù)，例如ES輸出與batch size一致。

filter設(shè)置multiline后，pipline worker會自動(dòng)將為1，如果使用filebeat，建議在beat中就使用multiline，如果使用logstash作為shipper，建議在input中設(shè)置multiline，不要在filter中設(shè)置multiline。

Logstash中的JVM配置文件：

Logstash是一個(gè)基于Java開發(fā)的程序，需要運(yùn)行在JVM中，可以通過配置jvm.options來針對JVM進(jìn)行設(shè)定。比如內(nèi)存的大小、垃圾清理機(jī)制等等。JVM的內(nèi)存分配不能太大不能太小，太大會拖慢操作系統(tǒng)。太小導(dǎo)致無法啟動(dòng)。默認(rèn)如下：

  • Xms256m#下限使用內(nèi)存;
  • Xmx1g#上限使用內(nèi)存。

4、引入Redis的相關(guān)問題

filebeat可以直接輸入到logstash(indexer)，但logstash沒有存儲功能，如果需要重啟需要先停所有連入的beat，再停logstash，造成運(yùn)維麻煩;另外如果logstash發(fā)生異常則會丟失數(shù)據(jù);引入Redis作為數(shù)據(jù)緩沖池，當(dāng)logstash異常停止后可以從Redis的客戶端看到數(shù)據(jù)緩存在Redis中;

Redis可以使用list(最長支持4,294,967,295條)或發(fā)布訂閱存儲模式;

Redis做ELK緩沖隊(duì)列的優(yōu)化：

  • bind 0.0.0.0 #不要監(jiān)聽本地端口;
  • requirepass ilinux.io #加密碼，為了安全運(yùn)行;
  • 只做隊(duì)列，沒必要持久存儲，把所有持久化功能關(guān)掉：

快照(RDB文件)和追加式文件(AOF文件)，性能更好;

save "" 禁用快照;

appendonly no 關(guān)閉RDB。

  • 把內(nèi)存的淘汰策略關(guān)掉，把內(nèi)存空間調(diào)到盡可能大

maxmemory 0 #maxmemory為0的時(shí)候表示我們對Redis的內(nèi)存使用沒有限制。

5、Elasticsearch節(jié)點(diǎn)優(yōu)化配置

服務(wù)器硬件配置，OS參數(shù)：

1)/etc/sysctl.conf 配置

vim /etc/sysctl.conf

  1. ① vm.swappiness = 1                     #ES 推薦將此參數(shù)設(shè)置為 1，大幅降低 swap 分區(qū)的大小，強(qiáng)制使用內(nèi)存，注意，這里不要設(shè)置為 0, 這會很可能會造成 OOM 
  2. ② net.core.somaxconn = 65535     #定義了每個(gè)端口監(jiān)聽隊(duì)列上限的長度 
  3. ③ vm.max_map_count= 262144    #限制一個(gè)進(jìn)程可以擁有的VMA(虛擬內(nèi)存區(qū)域)的數(shù)量。虛擬內(nèi)存區(qū)域是一個(gè)連續(xù)的虛擬地址空間區(qū)域。當(dāng)VMA 的數(shù)量超過這個(gè)值，OOM 
  4. ④ fs.file-max = 518144                   #設(shè)置 Linux 內(nèi)核分配的文件句柄的max數(shù)量 

[root@elasticsearch]# sysctl -p生效一下。

2)limits.conf 配置

vim /etc/security/limits.conf

  1. elasticsearch    soft    nofile          65535 
  2. elasticsearch    hard    nofile          65535 
  3. elasticsearch    soft    memlock         unlimited 
  4. elasticsearch    hard    memlock         unlimited 

3)為了使以上參數(shù)一直生效，還要設(shè)置兩個(gè)地方：

  1. vim /etc/pam.d/common-session-noninteractive 
  2. vim /etc/pam.d/common-session 

添加如下屬性：

  1. session required pam_limits.so 

可能需重啟后生效。

Elasticsearch中的JVM配置文件

-Xms2g

-Xmx2g

  • 將Xms和Xmx設(shè)置為彼此相等。
  • Elasticsearch可用的堆越多，可用于緩存的內(nèi)存就越多。但請注意，太多的堆可能會使您長時(shí)間垃圾收集暫停。
  • 設(shè)置Xmx為不超過物理RAM的50%，以確保有足夠的物理內(nèi)存留給內(nèi)核文件系統(tǒng)緩存。
  • 不要設(shè)置Xmx為JVM用于壓縮對象指針的臨界值以上;確切的截止值有所不同，但接近32 GB。不要超過32G，如果空間大，多跑幾個(gè)實(shí)例，不要讓一個(gè)實(shí)例太大內(nèi)存。

Elasticsearch配置文件優(yōu)化參數(shù)：

1)vim elasticsearch.yml

  1. bootstrap.memory_lock: true  #鎖住內(nèi)存，不使用swap 
  2. #緩存、線程等優(yōu)化如下 
  3. bootstrap.mlockall: true 
  4. transport.tcp.compress: true 
  5. indices.fielddata.cache.size: 40% 
  6. indices.cache.filter.size: 30% 
  7. indices.cache.filter.terms.size: 1024mb 
  8. threadpool: 
  9.     search: 
  10.         type: cached 
  11.         size: 100 
  12.         queue_size: 2000 

2)設(shè)置環(huán)境變量

vim /etc/profile.d/elasticsearch.sh export ES_HE AP _SIZE=2g #Heap Size不超過物理內(nèi)存的一半，且小于32G。

集群的優(yōu)化(我未使用集群)：

  • ES是分布式存儲，當(dāng)設(shè)置同樣的cluster.name后會自動(dòng)發(fā)現(xiàn)并加入集群;
  • 集群會自動(dòng)選舉一個(gè)master，當(dāng)master宕機(jī)后重新選舉;
  • 為防止"腦裂"，集群中個(gè)數(shù)建議為奇數(shù)個(gè);
  • 為有效管理節(jié)點(diǎn)，可關(guān)閉廣播discovery. zen.ping.multicast.enabled: false，并設(shè)置單播節(jié)點(diǎn)組discovery.zen.ping.unicast.hosts: ["ip1", "ip2", "ip3"]。

6、性能的檢查

檢查輸入和輸出的性能：

Logstash和其連接的服務(wù)運(yùn)行速度一致，它可以和輸入、輸出的速度一樣快。

檢查系統(tǒng)參數(shù)：

1)CPU

  • 注意CPU是否過載。在Linux/Unix系統(tǒng)中可以使用top-H查看進(jìn)程參數(shù)以及總計(jì)。
  • 如果CPU使用過高，直接跳到檢查JVM堆的章節(jié)并檢查Logstash worker設(shè)置。

2)Memory

  • 注意Logstash是運(yùn)行在Java虛擬機(jī)中的，所以它只會用到你分配給它的內(nèi)存。
  • 檢查其他應(yīng)用使用大量內(nèi)存的情況，這將造成Logstash使用硬盤swap，這種情況會在應(yīng)用占用內(nèi)存超出物理內(nèi)存范圍時(shí)。

3)I/O監(jiān)控磁盤I/O檢查磁盤飽和度

  • 使用Logstash plugin(例如使用文件輸出)磁盤會發(fā)生飽和。
  • 當(dāng)發(fā)生大量錯(cuò)誤，Logstash生成大量錯(cuò)誤日志時(shí)磁盤也會發(fā)生飽和。
  • 在Linux中，可使用iostat，dstat或者其他命令監(jiān)控磁盤I/O。

4)監(jiān)控網(wǎng)絡(luò)I/O

  • 當(dāng)使用大量網(wǎng)絡(luò)操作的input、output時(shí)，會導(dǎo)致網(wǎng)絡(luò)飽和。
  • 在Linux中可使用dstat或iftop監(jiān)控網(wǎng)絡(luò)情況。

檢查JVM heap：

  • heap設(shè)置太小會導(dǎo)致CPU使用率過高，這是因?yàn)镴VM的垃圾回收機(jī)制導(dǎo)致的。
  • 一個(gè)快速檢查該設(shè)置的方法是將heap設(shè)置為兩倍大小然后檢測性能改進(jìn)。不要將heap設(shè)置超過物理內(nèi)存大小，保留至少1G內(nèi)存給操作系統(tǒng)和其他進(jìn)程。
  • 你可以使用類似jmap命令行或VisualVM更加精確的計(jì)算JVM heap。

 

責(zé)任編輯：武曉燕 來源： DBAplus社群
ELKRedis轉(zhuǎn)換
相關(guān)推薦

2024-02-26 08:21:51

CPUkafka死循環(huán)

2013-07-30 17:26:11

科技公司科技巨頭IT公司

2020-01-02 10:13:46

Redis數(shù)據(jù)庫字符串

2021-03-15 13:30:06

自動(dòng)駕駛智能停車機(jī)器人

2019-05-07 18:17:26

Redis服務(wù)器數(shù)據(jù)

2013-11-13 14:33:10

hadoop分布式系統(tǒng)

2021-07-29 06:26:33

代碼Activity開發(fā)

2019-07-03 15:01:30

戴爾

2020-11-02 13:25:45

Redis數(shù)據(jù)庫開源

2019-04-09 09:22:32

Redis內(nèi)存緩存

2020-01-20 14:30:39

HTTP概念標(biāo)頭

2025-02-08 08:42:22

2010-04-09 14:37:58

無線路由器無法登錄

2016-06-06 10:20:59

大數(shù)據(jù)流式計(jì)算數(shù)據(jù)處理

2017-10-31 16:06:51

大數(shù)據(jù)90后消費(fèi)

2013-06-18 09:40:29

BYOD誤解

2018-11-30 18:30:17

數(shù)據(jù)庫運(yùn)維機(jī)器學(xué)習(xí)

2019-01-27 17:32:38

邊緣計(jì)算網(wǎng)絡(luò)邊緣節(jié)點(diǎn)

2020-09-01 09:51:13

云安全漏洞攻擊
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號