[[385612]]

awk 是流式編輯器，針對(duì)文檔中的行來(lái)操作，一行一行地執(zhí)行。awk 可以非常方便、高效地操作文檔以及字符，從而實(shí)現(xiàn)我們想要的格式。它的功能非常強(qiáng)大，我在 shell 腳本中經(jīng)常使用它來(lái)處理字符串。下面介紹幾個(gè)在工作中使用 awk 較頻繁的用法。

1.   截取文檔中的某個(gè)段

示例命令如下： 

# head -n2 test.txt |awk -F ':' '{print $1}'
root
bin

本例中，-F 選項(xiàng)的作用是指定分隔符。如果不加 -F 選項(xiàng)，則以空格或者 tab 為分隔符。print 為打印的動(dòng)作，用來(lái)打印某個(gè)字段。$1 為第 1 個(gè)字段，$2 為第 2 個(gè)字段，以此類推。但 $0 比較特殊，它表示整行： 

# head -n2 test.txt |awk -F':' '{print $0}'
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin

注意 awk 的格式，-F 后面緊跟單引號(hào)，單引號(hào)里面為分隔符。print 的動(dòng)作要用 {} 括起來(lái)，否則會(huì)報(bào)錯(cuò)。print 還可以打印自定義的內(nèi)容，但是自定義的內(nèi)容要用雙引號(hào)括起來(lái)，如下所示：

# head -n2 test.txt |awk -F ':' '{print $1"#"$2"#"$3"#"$4}'
root#x#0#0
bin#x#1#1

2.　匹配字符或者字符串

在文檔中過(guò)濾出包含指定字符串的行，示例命令如下：

# awk '/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

這跟 sed 的用法類似，能實(shí)現(xiàn) grep 的功能，但沒(méi)有顏色顯示，肯定沒(méi)有 grep 用起來(lái)方便。不過(guò) awk 還有比 sed 更強(qiáng)大的匹配，如下所示：

# awk -F ':' '$1 ~/oo/' test.txt
root:x:0:0:root:/root:/bin/bash
setroubleshoot:x:992:990::/var/lib/setroubleshoot:/sbin/nologin

它可以讓某個(gè)段去匹配，這里的~就是匹配的意思。

此外，awk 還可以多次匹配，如下所示：

# awk -F ':' '/root/ {print $1,$3} /test/ {print $1,$3}' test.txt
root 0
operator 11
test 1006

本例中，awk 匹配完 root，再匹配 test，并且只打印所匹配的段。

3.　條件操作符

有時(shí)候，在匹配字符的同時(shí)要給出限定條件，比如第 3 段為 0 。示例命令如下：

# awk -F ':' '$3=="0"' /etc/passwd
root:x:0:0:root:/root:/bin/bash

在 awk 中，我們可以用邏輯符號(hào)進(jìn)行判斷，比如 == 就是等于，也可以理解為精確匹配。另外，還有 >、>=、<、<=、!=等。值得注意的是，在和數(shù)字比較時(shí)，若把要比較的數(shù)字用雙引號(hào)引起來(lái)，那么 awk 不會(huì)將其認(rèn)為是數(shù)字，而會(huì)認(rèn)為是字符，不加雙引號(hào)就會(huì)認(rèn)為是數(shù)字。示例命令如下：

# awk -F ':' '$3>="500"' /etc/passwd |head -n 5
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin

本例中，阿銘本想把 uid 大于等于 500 的行打印出來(lái)，但是結(jié)果并不理想。這是因?yàn)?awk 把所有的數(shù)字都當(dāng)作字符了，就跟上一章中提到的 sort 排序原理一樣。但是，如果不加雙引號(hào)，就得到了想要的結(jié)果：

# awk -F ':' '$3>=500' /etc/passwd|head -n 5
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
systemd-coredump:x:999:997:systemd Core Dumper:/:/sbin/nologin
polkitd:x:998:996:User for polkitd:/:/sbin/nologin
geoclue:x:997:995:User for geoclue:/var/lib/geoclue:/sbin/nologin
unbound:x:996:991:Unbound DNS resolver:/etc/unbound:/sbin/nologin

# awk -F ':' '$7!="/sbin/nologin"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

上例中，!= 表示不匹配，它除了針對(duì)某一個(gè)段的字符進(jìn)行邏輯比較外，還可以在兩個(gè)段之間進(jìn)行邏輯比較。如下所示： 

# awk -F ':' '$3<$4' /etc/passwd
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

另外，還可以使用 && 和 ||，它們分別表示“并且”和“或者”。&& 的用法如下：

# awk -F ':' '$3>"5" && $3<"7"' /etc/passwd
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin

|| 的用法如下：

# awk -F ':' '$3>1000 || $7=="/bin/bash"' /etc/passwd
root:x:0:0:root:/root:/bin/bash
nobody:x:65534:65534:Kernel Overflow User:/:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

4.  awk 的內(nèi)置變量

awk 常用的變量有 OFS、NF 和 NR。OFS 和 -F 選項(xiàng)有類似的功能，也是用來(lái)定義分隔符的，但是它是在輸出的時(shí)候定義的。NF 表示用分隔符分隔后一共有多少段。NR 表示行號(hào)。

OFS 的用法示例如下：

# head -5 /etc/passwd |awk -F ':' '{OFS="#"} {print $1,$3,$4}'
root#0#0
bin#1#1
daemon#2#2
adm#3#4
lp#4#7

還有更高級(jí)一些的用法： 

# awk -F ':' '{OFS="#"} {if ($3>=1000) {print $1,$2,$3,$4}}' /etc/passwd
nobody#x#65534#65534
aminglinux#x#1000#1000

變量 NF 的具體用法如下：

# head -n3 /etc/passwd | awk -F ':' '{print NF}'
7
7
7 

# head -n3 /etc/passwd | awk -F ':' '{print $NF}'
/bin/bash
/sbin/nologin
/sbin/nologin

這里 NF 是多少段，$NF 是最后一段的值。變量 NR 的具體用法如下：

# head -n3 /etc/passwd | awk -F ':' '{print NR}'
1
2
3

我們還可以使用 NR 作為判斷條件，如下所示：

# awk 'NR>40' /etc/passwd
insights:x:978:976:Red Hat Insights:/var/lib/insights:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
aminglinux:x:1000:1000:aminglinux:/home/aminglinux:/bin/bash

NR 也可以配合段匹配一起使用，如下所示：

# awk -F ':' 'NR<20 && $1 ~ /roo/' /etc/passwd
root:x:0:0:root:/root:/bin/bash

5.  awk 中的數(shù)學(xué)運(yùn)算

awk 可以更改段值，示例命令如下：

# head -n 3 /etc/passwd |awk -F ':' '$1="root"'
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin

awk 也可以對(duì)各個(gè)段的值進(jìn)行數(shù)學(xué)運(yùn)算，示例命令如下： 

# head -n2 /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin

# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4}'

# head -n2 /etc/passwd |awk -F ':' '{$7=$3+$4; print $0}'
root x 0 0 root /root 0
bin x 1 1 bin /bin 2

awk 還可以計(jì)算某個(gè)段的總和，示例命令如下：

# awk -F ':' '{(tot=tot+$3)}; END {print tot}' /etc/passwd
84699

這里的 END 是 awk 特有的語(yǔ)法，表示所有的行都已經(jīng)執(zhí)行。如下所示：

# awk -F ':' '{if ($1=="root") {print $0}}' /etc/passwd
root:x:0:0:root:/root:/bin/bash

其實(shí) awk 可以寫成一個(gè)腳本文件，而且有它特有的語(yǔ)法。在 awk 中使用 if 判斷、for 循環(huán)都可以，只是在日常管理工作中，使用那么復(fù)雜的語(yǔ)句并不常見。

最后，我們?cè)俑缴铣Ｒ娬齽t字符的解釋。

• . 表示任意一個(gè)字符，比如空格、特殊符號(hào)等。

• * 表示 * 前面的字符有 0 個(gè)或多個(gè)，比如 a* 那就是 0 個(gè) a 或者多個(gè) a。

• .* 表示任意個(gè)任意字符，就是貪婪匹配了。

• + 就是 + 前面的字符有 1 個(gè)或者多個(gè)，如 a+ 就是 a、aa、aaa……

• ? 就是 ? 前面的字符有 1 個(gè)或者 0 個(gè)。

• { } 里面是一個(gè)范圍，如 {1,5} 就是 { } 前面的字符有 1~5 個(gè)。

• | 表示或者，如 a|b 就是 a 或者 b。

• [ ] 表示這里面的任意一個(gè)字符，如 [abc] 就是 a 或者 b 或者 c。此外，也可以用范圍 [0-9] 表示任意一個(gè)數(shù)字，用 [a-z] 表示任意一個(gè)小寫字母。

• ^ 表示開頭。

• $ 表示結(jié)尾。

本篇文章節(jié)選自《跟阿銘學(xué) Linux（第4版）》一書。