自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

如何用 Shell 輕松搞定 Linux 命令審計(jì)

作者：Link Ma
系統(tǒng) Linux
利用定制 Bash 源增加日志審計(jì)功能，并將用戶操作發(fā)給 rsyslog 聚合，最后在 elasticsearch 做日志存儲(chǔ)和查詢。

首先，當(dāng)談到 Linux 的操作審計(jì)需求時(shí)，大多數(shù)我們希望的是還原線上服務(wù)器被人為（誤）操作時(shí)執(zhí)行的命令行，以及它關(guān)聯(lián)的上下文。這個(gè)需求場(chǎng)景其實(shí)跟通用的業(yè)務(wù)日志采集一致，簡(jiǎn)單一點(diǎn)可以直接通過 history 將內(nèi)容發(fā)給 syslog，復(fù)雜一點(diǎn)的采用 auditd 或 ebpf 在內(nèi)核層面上捕獲行為。

不過本文不打算對(duì)上述的方案做原理解釋，僅僅站在一個(gè)運(yùn)維小白的角度來完成日常 80%（80%的數(shù)據(jù)來源？我也不知道，大概是二八原則）的操作審計(jì) 。既然文章標(biāo)題是用 Shell 來完成， 由此可見今天的主題跟 Bash 脫不了關(guān)系了。

一句話概括今天的主題：利用定制 Bash 源增加日志審計(jì)功能，并將用戶操作發(fā)給 rsyslog 聚合，最后在 elasticsearch 做日志存儲(chǔ)和查詢。

Linux 部分

  1. 準(zhǔn)備一些必要的工具
  • rsyslog:  一個(gè)Linux上自帶并兼容 syslog 語法的日志處理服務(wù)
  • jq: 一個(gè)在 shell 下處理 json 數(shù)據(jù)的小工具
  • logger: 一個(gè)可以往 syslog 輸入日志的工具
  • 這些小工具除 jq 外，大多操作系統(tǒng)發(fā)行版都自帶，如果沒有的話也可以直接用操作系統(tǒng)內(nèi)置的包管理工具安裝。
  1. ash.audit.sh，并將其拷貝到 /etc/profile.d/ 目錄下 

if [ "${SHELL##*/}" != "bash" ]; then
  return
fi
if [ "${AUDIT_READY}" = "yes" ]; then
    return
fi
declare -rx HISTFILE="$HOME/.bash_history
declare -rx HISTSIZE=500000
declare -rx HISTFILESIZE=500000
declare -rx HISTCONTROL=""
declare -rx HISTIGNORE=""
declare -rx HISTCMD
declare -rx AUDIT_READY="yes"
shopt -s histappend
shopt -s cmdhist
shopt -s histverify
if shopt -q login_shell && [ -t 0 ]; then
  stty -ixon
fi
if groups | grep -q root; then
  declare -x TMOUT=86400
  # chattr +a "$HISTFILE"
fi
declare -a LOGIN_INFO=( $(who -mu | awk '{print $1,$2,$6}') )
declare -rx AUDIT_LOGINUSER="${LOGIN_INFO[0]}"
declare -rx AUDIT_LOGINPID="${LOGIN_INFO[2]}"
declare -rx AUDIT_USER="$USER"
declare -rx AUDIT_PID="$$"
declare -rx AUDIT_TTY="${LOGIN_INFO[1]}"
declare -rx AUDIT_SSH="$([ -n "$SSH_CONNECTION" ] && echo "$SSH_CONNECTION" | awk '{print $1":"$2"->"$3":"$4}')"
declare -rx AUDIT_STR="$AUDIT_LOGINUSER  $AUDIT_LOGINPID  $AUDIT_TTY  $AUDIT_SSH"
declare -rx AUDIT_TAG=$(echo -n $AUDIT_STR | sha1sum |cut -c1-12)
declare -x AUDIT_LASTHISTLINE=""
set +o functrace
shopt -s extglob
function AUDIT_DEBUG() {
  if [ -z "$AUDIT_LASTHISTLINE" ]; then
    local AUDIT_CMD="$(fc -l -1 -1)"
    AUDIT_LASTHISTLINE="${AUDIT_CMD%%+([^ 0-9])*}"
  else
    AUDIT_LASTHISTLINE="$AUDIT_HISTLINE"
  fi
  local AUDIT_CMD="$(history 1)"
  AUDIT_HISTLINE="${AUDIT_CMD%%+([^ 0-9])*}"
  if [ "${AUDIT_HISTLINE:-0}" -ne "${AUDIT_LASTHISTLINE:-0}" ] || [ "${AUDIT_HISTLINE:-0}" -eq "1" ]; then
    MESSAGE=$(jq -c -n \
     --arg pwd "$PWD" \
     --arg cmd "${AUDIT_CMD##*( )?(+([0-9])?(\*)+( ))}" \
     --arg user "$AUDIT_LOGINUSER" \
     --arg become "$AUDIT_USER" \
     --arg pid "$AUDIT_PID" \
     --arg info "${AUDIT_STR}" \
     '{cmd: $cmd, user: $user, become: $become, pid: $pid, pwd: $pwd, info: $info}')
    logger -p local6.info -t "$AUDIT_TAG" "@cee: $MESSAGE"
  fi
}
function AUDIT_EXIT() {
  local AUDIT_STATUS="$?"
  if [ -n "$AUDIT_TTY" ]; then
    MESSAGE_CLOSED=$(jq -c -n \
        --arg action "session closed" \
        --arg user "$AUDIT_LOGINUSER" \
        --arg become "$AUDIT_USER" \
        --arg pid "$AUDIT_PID" \
        --arg info "${AUDIT_STR}" \
        '{user: $user, become: $become, pid: $pid, action: $action, info: $info}')
    logger -p local6.info -t "$AUDIT_TAG" "@cee: $MESSAGE_CLOSED"
  fi
  exit "$AUDIT_STATUS"
}
declare -frx +t AUDIT_DEBUG
declare -frx +t AUDIT_EXIT
if [ -n "$AUDIT_TTY" ]; then
  MESSAGE_OPENED=$(jq -c -n \
      --arg action "session opened" \
      --arg user "$AUDIT_LOGINUSER" \
      --arg become "$AUDIT_USER" \
      --arg pid "$AUDIT_PID" \
      --arg info "${AUDIT_STR}" \
      '{user: $user, become: $become, pid: $pid, action: $action, info: $info}')
  logger -p local6.info -t "$AUDIT_TAG" "@cee: $MESSAGE_OPENED"
fi
declare -rx PROMPT_COMMAND="[ -n "$AUDIT_DONE" ] && echo ''; AUDIT_DONE=; trap 'AUDIT_DEBUG && AUDIT_DONE=1; trap DEBUG' DEBUG
declare -rx BASH_COMMAND
declare -rx SHELLOPT
trap AUDIT_EXIT EXIT

簡(jiǎn)單說明下這個(gè)腳本，大致就是定義了 shell 的歷史條目、登錄超時(shí)時(shí)間、以及審計(jì)日志的格式和發(fā)送。

  1. 配置rsyslog 客戶端，本地創(chuàng)建一個(gè) /etc/rsyslog.d/40-audit.conf 文件，用于將本地local6級(jí)別的系統(tǒng)日志發(fā)送遠(yuǎn)端的rsyslog服務(wù)集中處理 

$RepeatedMsgReduction off
local6.info @<>:514
& stop
  • 配置完成后，別忘了重啟下 rsyslog 服務(wù)！

數(shù)據(jù)部分

數(shù)據(jù)部分顧名思義，用于接收并處理客戶端發(fā)來的操作系統(tǒng)日志。這里我們用到了 rsyslog 和 elasticsearch 兩個(gè)服務(wù)了。

  1. 準(zhǔn)備rsyslog-elasticsearch

要讓 rsyslog 將日志發(fā)送給 elastichsearch，我們就必須安裝它的 es 模塊 

# Ubuntu  
apt-get install -y rsyslog-elasticsearch rsyslog-mmjsonparse  
#CentOS
yum install rsyslog-elasticsearch rsyslog-mmjsonparse
  1. 準(zhǔn)備 ElasticSearch 服務(wù)

為了簡(jiǎn)單部署，本文直接用 docker 快速拉起一個(gè) ES 服務(wù) 

docker run -d --name elasticsearch  -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.3.1
  1. 配置 rsyslog 服務(wù)端，創(chuàng)建一個(gè)文件 /etc/rsyslog.d/40-audit-server.conf，用于定義日志的寫入策略。 

$RepeatedMsgReduction off
$ModLoad imudp
$UDPServerRun 514
module(load="mmjsonparse")          # for parsing CEE-enhanced syslog messages
module(load="omelasticsearch")      # for outputting to Elasticsearch
#try to parse a structured log
# this is for index names to be like: rsyslog-YYYY.MM.DD
template(name="rsyslog-index" type="string" string="bashaudit-%$YEAR%.%$MONTH%.%$DAY%")
# this is for formatting our syslog in JSON with @timestamp
template(name="json-syslog" type="list") {
    constant(value="{")
      constant(value="\"@timestamp\":\"")     property(name="timegenerated" dateFormat="rfc3339" date.inUTC="on")
      constant(value="\",\"host\":\"")        property(name="fromhost-ip")
      constant(value="\",\"severity\":\"")    property(name="syslogseverity-text")
      constant(value="\",\"facility\":\"")    property(name="syslogfacility-text")
      constant(value="\",\"program\":\"")     property(name="programname")
      constant(value="\",\"tag\":\"")         property(name="syslogtag" format="json")
      constant(value="\",")                   property(name="$!all-json" position.from="2")
    # closing brace is in all-json
}
if ($syslogfacility-text == 'local6' and $syslogseverity-text == 'info') then {
 action(type="mmjsonparse")
 action(type="omelasticsearch" template="json-syslog" searchIndex="rsyslog-index" dynSearchIndex="on" server="<your_elasticsearch_address>" serverport="<your_elasticsearch_port>")
        # action(type="omfile" file="/var/log/bashaudit.log")
        stop
}

這里采用了 rsyslog 的兩個(gè) module 來處理收集的日志

  • mmjsonparse用于 json 格式化日志
  • omelasticsearch用于配置 ElastichSearch
  • 配置完成重啟 rsyslog 服務(wù)

查詢部分

審計(jì)日志的查詢我們可以使用 Kibana 或者自己根據(jù) ElasticSearch API 進(jìn)行二次開發(fā)。這里我們以 Kibana 舉例。 

cat << EOF   > ./kibana.yml
server.port: 15601
elasticsearch.hosts: ["http://<your_elasticsearch_address>:<your_elasticsearch_port>"]
i18n.locale: "zh-CN"
EOF
docker run -d --ulimit nofile=1000000:1000000 --net host --name elasticsearch-audit -v ./kibana.yml:/usr/share/kibana/config/kibana.yml  --restart always docker.elastic.co/kibana/kibana-oss:7.3.1

本地訪問http://localhost:15601進(jìn)入 kibana 配置創(chuàng)建一個(gè)名為 bashaudit 的索引模式

之后，我們就能進(jìn)入 Discover 中查詢審計(jì)日志了，包含了基本Shell執(zhí)行時(shí)間、來源用戶、執(zhí)行目錄等數(shù)據(jù)。

再進(jìn)一步，我們也可以通過調(diào)用 API 的方式對(duì)審計(jì)日志做一些額外的二次開發(fā)，例如：

  • 對(duì)線上服務(wù)器熱點(diǎn)用戶統(tǒng)計(jì)
  • 對(duì)線上服務(wù)器做熱點(diǎn)操作統(tǒng)計(jì)
  • 對(duì)線上危險(xiǎn)Shell 操作做告警

總結(jié)

本文講述了采用定制 Bash 的方式，在用戶登錄初始化 Shell 的方式將其后續(xù)的命令行操作發(fā)送給 rsyslog 服務(wù)進(jìn)行處理，并將格式化后的日志存儲(chǔ)在 ElasticSearch 中方便輔助系統(tǒng)管理者在線上故障定位時(shí)使用，也可以依此對(duì) Linux命令行審計(jì)做可視化的二次開發(fā)。

不過本文基于定制 Bash 的方式仍然具備很多局限性，例如：

  •  不能審計(jì) ShellScript 內(nèi)的執(zhí)行邏輯；
  •  存在用其他 shell 繞過審計(jì)，如 zsh 等；

可以看到要想審計(jì)到更詳細(xì)的內(nèi)容，光在 Bash（表面功夫）上實(shí)現(xiàn)并不能滿足，讀者可以嘗試使用snoopy 對(duì) Shell 腳本內(nèi)部做跟蹤審計(jì)。

責(zé)任編輯：龐桂玉 來源： 奇妙的Linux世界
ShellLinux命令審計(jì)
相關(guān)推薦

2024-08-26 08:27:18

2025-02-07 08:39:32

Shell部署測(cè)試

2009-12-11 15:37:58

Linux日志處理

2024-12-16 15:50:51

2011-06-03 10:00:51

2017-11-29 18:31:27

Linux命令

2010-07-27 14:25:02

linux文件編碼

2015-08-10 14:42:40

Explain SheShell 命令

2011-09-26 11:35:01

2022-05-02 18:29:35

bashshellLinux

2009-12-03 11:37:56

Suse Linux

2020-12-02 13:19:47

Shell監(jiān)控文件Linux

2010-01-06 17:51:26

Linux關(guān)機(jī)命令

2019-11-13 15:40:00

Entity Fram審計(jì)數(shù)據(jù)數(shù)據(jù)庫(kù)

2019-12-01 22:59:43

Linux shell命令進(jìn)程

2024-09-09 16:50:21

2009-10-26 13:25:05

Linux Shell

2022-09-16 08:04:25

阿里云權(quán)限網(wǎng)絡(luò)

2009-02-16 15:35:00

2017-05-11 15:01:43

Androidweb布局
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)