Linux基礎之-正則表達式（grep，sed，awk）
一. 正則表達式
正則表達式，又稱規(guī)則表達式。(英語：Regular Expression，在代碼中常簡寫為regex、regexp或RE)，計算機科學的一個概念。正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規(guī)則字符串”，這個“規(guī)則字符串”用來表達對字符串的一種過濾邏輯。
要想真正的用好正則表達式，正確的理解元字符是最重要的事情。下表列出了所有的元字符和對它們的一個簡短的描述。
|
元字符 |
描述 |
|
\ |
將下一個字符標記符、或一個向后引用、或一個八進制轉義符。例如，“\\n”匹配\n。“\n”匹配換行符。序列“\\”匹配“\”而“\(”則匹配“(”。即相當于多種編程語言中都有的“轉義字符”的概念。 |
|
^ |
匹配輸入字符串的開始位置。如果設置了RegExp對象的Multiline屬性，^也匹配“\n”或“\r”之后的位置。 |
|
$ |
匹配輸入字符串的結束位置。如果設置了RegExp對象的Multiline屬性，$也匹配“\n”或“\r”之前的位置。 |
|
* |
匹配前面的子表達式任意次。例如，zo*能匹配“z”，也能匹配“zo”以及“zoo”。 |
|
+ |
匹配前面的子表達式一次或多次(大于等于1次）。例如，“zo+”能匹配“zo”以及“zoo”，但不能匹配“z”。+等價于{1,}。 |
|
? |
匹配前面的子表達式零次或一次。例如，“do(es)?”可以匹配“do”或“does”中的“do”。?等價于{0,1}。 |
|
{n} |
n是一個非負整數(shù)。匹配確定的n次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的兩個o。 |
|
{n,} |
n是一個非負整數(shù)。至少匹配n次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等價于“o+”。“o{0,}”則等價于“o*”。 |
|
{n,m} |
m和n均為非負整數(shù)，其中n<=m。最少匹配n次且最多匹配m次。例如，“o{1,3}”將匹配“fooooood”中的前三個o為一組，后三個o為一組。“o{0,1}”等價于“o?”。請注意在逗號和兩個數(shù)之間不能有空格。 |
|
? |
當該字符緊跟在任何一個其他限制符（*,+,?，{n}，{n,}，{n,m}）后面時，匹配模式是非貪婪的。非貪婪模式盡可能少的匹配所搜索的字符串，而默認的貪婪模式則盡可能多的匹配所搜索的字符串。例如，對于字符串“oooo”，“o+”將盡可能多的匹配“o”，得到結果[“oooo”]，而“o+?”將盡可能少的匹配“o”，得到結果 ['o', 'o', 'o', 'o'] |
|
.點 |
匹配除“\r\n”之外的任何單個字符。要匹配包括“\r\n”在內(nèi)的任何字符，請使用像“[\s\S]”的模式。 |
|
(pattern) |
匹配pattern并獲取這一匹配。所獲取的匹配可以從產(chǎn)生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中則使用$0…$9屬性。要匹配圓括號字符，請使用“\(”或“\)”。 |
|
(?:pattern) |
非獲取匹配，匹配pattern但不獲取匹配結果，不進行存儲供以后使用。這在使用或字符“(|)”來組合一個模式的各個部分時很有用。例如“industr(?:y|ies)”就是一個比“industry|industries”更簡略的表達式。 |
|
(?=pattern) |
非獲取匹配，正向肯定預查，在任何匹配pattern的字符串開始處匹配查找字符串，該匹配不需要獲取供以后使用。例如，“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”，但不能匹配“Windows3.1”中的“Windows”。預查不消耗字符，也就是說，在一個匹配發(fā)生后，在***一次匹配之后立即開始下一次匹配的搜索，而不是從包含預查的字符之后開始。 |
|
(?!pattern) |
非獲取匹配，正向否定預查，在任何不匹配pattern的字符串開始處匹配查找字符串，該匹配不需要獲取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”，但不能匹配“Windows2000”中的“Windows”。 |
|
(?<=pattern) |
非獲取匹配，反向肯定預查，與正向肯定預查類似，只是方向相反。例如，“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”，但不能匹配“3.1Windows”中的“Windows”。 |
|
(?<!pattern) |
非獲取匹配，反向否定預查，與正向否定預查類似，只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”，但不能匹配“2000Windows”中的“Windows”。這個地方不正確，有問題 此處用或任意一項都不能超過2位，如“(?<!95|98|NT|20)Windows正確，“(?<!95|980|NT|20)Windows 報錯，若是單獨使用則***制，如(?<!2000)Windows 正確匹配 |
|
x|y |
匹配x或y。例如，“z|food”能匹配“z”或“food”(此處請謹慎)。“[z|f]ood”則匹配“zood”或“food”或"|ood"。 |
|
[xyz] |
字符集合。匹配所包含的任意一個字符。例如，“[abc]”可以匹配“plain”中的“a”。 |
|
[^xyz] |
負值字符集合。匹配未包含的任意字符。例如，“[^abc]”可以匹配“plain”中的“plin”。 |
|
[a-z] |
字符范圍。匹配指定范圍內(nèi)的任意字符。例如，“[a-z]”可以匹配“a”到“z”范圍內(nèi)的任意小寫字母字符。 注意:只有連字符在字符組內(nèi)部時,并且出現(xiàn)在兩個字符之間時,才能表示字符的范圍; 如果出字符組的開頭,則只能表示連字符本身. |
|
[^a-z] |
負值字符范圍。匹配任何不在指定范圍內(nèi)的任意字符。例如，“[^a-z]”可以匹配任何不在“a”到“z”范圍內(nèi)的任意字符。 |
|
\b |
匹配一個單詞邊界，也就是指單詞和空格間的位置（即正則表達式的“匹配”有兩種概念，一種是匹配字符，一種是匹配位置，這里的\b就是匹配位置的）。例如，“er\b”可以匹配“never”中的“er”，但不能匹配“verb”中的“er”。 |
|
\B |
匹配非單詞邊界。“er\B”能匹配“verb”中的“er”，但不能匹配“never”中的“er”。 |
|
\cx |
匹配由x指明的控制字符。例如，\cM匹配一個Control-M或回車符。x的值必須為A-Z或a-z之一。否則，將c視為一個原義的“c”字符。 |
|
\d |
匹配一個數(shù)字字符。等價于[0-9]。grep 要加上-P，perl正則支持 |
|
\D |
匹配一個非數(shù)字字符。等價于[^0-9]。grep要加上-P，perl正則支持 |
|
\f |
匹配一個換頁符。等價于\x0c和\cL。 |
|
\n |
匹配一個換行符。等價于\x0a和\cJ。 |
|
\r |
匹配一個回車符。等價于\x0d和\cM。 |
|
\s |
匹配任何不可見字符，包括空格、制表符、換頁符等等。等價于[ \f\n\r\t\v]。 |
|
\S |
匹配任何可見字符。等價于[^ \f\n\r\t\v]。 |
|
\t |
匹配一個制表符。等價于\x09和\cI。 |
|
\v |
匹配一個垂直制表符。等價于\x0b和\cK。 |
|
\w |
匹配包括下劃線的任何單詞字符。類似但不等價于“[A-Za-z0-9_]”，這里的"單詞"字符使用Unicode字符集。 |
|
\W |
匹配任何非單詞字符。等價于“[^A-Za-z0-9_]”。 |
|
\xn |
匹配n，其中n為十六進制轉義值。十六進制轉義值必須為確定的兩個數(shù)字長。例如，“\x41”匹配“A”。“\x041”則等價于“\x04&1”。正則表達式中可以使用ASCII編碼。 |
|
\num |
匹配num，其中num是一個正整數(shù)。對所獲取的匹配的引用。例如，“(.)\1”匹配兩個連續(xù)的相同字符。 |
|
\n |
標識一個八進制轉義值或一個向后引用。如果\n之前至少n個獲取的子表達式，則n為向后引用。否則，如果n為八進制數(shù)字（0-7），則n為一個八進制轉義值。 |
|
\nm |
標識一個八進制轉義值或一個向后引用。如果\nm之前至少有nm個獲得子表達式，則nm為向后引用。如果\nm之前至少有n個獲取，則n為一個后跟文字m的向后引用。如果前面的條件都不滿足，若n和m均為八進制數(shù)字（0-7），則\nm將匹配八進制轉義值nm。 |
|
\nml |
如果n為八進制數(shù)字（0-7），且m和l均為八進制數(shù)字（0-7），則匹配八進制轉義值nml。 |
|
\un |
匹配n，其中n是一個用四個十六進制數(shù)字表示的Unicode字符。例如，\u00A9匹配版權符號（©）。 |
|
\p{P} |
小寫 p 是 property 的意思，表示 Unicode 屬性，用于 Unicode 正表達式的前綴。中括號內(nèi)的“P”表示Unicode 字符集七個字符屬性之一：標點字符。 其他六個屬性： L：字母； M：標記符號（一般不會單獨出現(xiàn)）； Z：分隔符（比如空格、換行等）； S：符號（比如數(shù)學符號、貨幣符號等）； N：數(shù)字（比如阿拉伯數(shù)字、羅馬數(shù)字等）； C：其他字符。 *注：此語法部分語言不支持，例：javascript。 |
|
\< \> |
匹配詞（word）的開始（\<）和結束（\>）。例如正則表達式\<the\>能夠匹配字符串"for the wise"中的"the"，但是不能匹配字符串"otherwise"中的"the"。注意：這個元字符不是所有的軟件都支持的。 |
| ( ) | 將( 和 ) 之間的表達式定義為“組”（group），并且將匹配這個表達式的字符保存到一個臨時區(qū)域（一個正則表達式中最多可以保存9個），它們可以用 \1 到\9 的符號來引用。 |
| | | 將兩個匹配條件進行邏輯“或”（Or）運算。例如正則表達式(him|her) 匹配"it belongs to him"和"it belongs to her"，但是不能匹配"it belongs to them."。注意：這個元字符不是所有的軟件都支持的。 |
在linux中，通配符是由shell解釋的，而正則表達式則是由命令解釋的，下面我們就為大家介紹三種文本處理工具/命令：grep、sed、awk，它們?nèi)呔梢越忉屨齽t。
二. grep
1. grep指令用于查找內(nèi)容包含指定的范本樣式的文件，如果發(fā)現(xiàn)某文件的內(nèi)容符合所指定的范本樣式，預設grep指令會把含有范本樣式的那一列顯示出來。若不指定任何文件名稱，或是所給予的文件名為"-"，則grep指令會從標準輸入設備讀取數(shù)據(jù)。
語法
- grep [-abcEFGhHilLnqrsvVwxy][-A<顯示列數(shù)>][-B<顯示列數(shù)>][-C<顯示列數(shù)>][-d<進行動作>][-e<范本樣式>][-f<范本文件>][--help][范本樣式][文件或目錄...]
參數(shù)：
- -a或--text 不要忽略二進制的數(shù)據(jù)。
- -A<顯示列數(shù)>或--after-context=<顯示列數(shù)> 除了顯示符合范本樣式的那一列之外，并顯示該列之后的內(nèi)容。
- -b或--byte-offset 在顯示符合范本樣式的那一列之前，標示出該列***個字符的位編號。
- -B<顯示列數(shù)>或--before-context=<顯示列數(shù)> 除了顯示符合范本樣式的那一列之外，并顯示該列之前的內(nèi)容。
- -c或--count 計算符合范本樣式的列數(shù)。
- -C<顯示列數(shù)>或--context=<顯示列數(shù)>或-<顯示列數(shù)> 除了顯示符合范本樣式的那一列之外，并顯示該列之前后的內(nèi)容。
- -d<進行動作>或--directories=<進行動作> 當指定要查找的是目錄而非文件時，必須使用這項參數(shù)，否則grep指令將回報信息并停止動作。
- -e<范本樣式>或--regexp=<范本樣式> 指定字符串做為查找文件內(nèi)容的范本樣式。
- -E或--extended-regexp 將范本樣式為延伸的普通表示法來使用。
- -f<范本文件>或--file=<范本文件> 指定范本文件，其內(nèi)容含有一個或多個范本樣式，讓grep查找符合范本條件的文件內(nèi)容，格式為每列一個范本樣式。
- -F或--fixed-regexp 將范本樣式視為固定字符串的列表。
- -G或--basic-regexp 將范本樣式視為普通的表示法來使用。
- -h或--no-filename 在顯示符合范本樣式的那一列之前，不標示該列所屬的文件名稱。
- -H或--with-filename 在顯示符合范本樣式的那一列之前，表示該列所屬的文件名稱。
- -i或--ignore-case 忽略字符大小寫的差別。
- -l或--file-with-matches 列出文件內(nèi)容符合指定的范本樣式的文件名稱。
- -L或--files-without-match 列出文件內(nèi)容不符合指定的范本樣式的文件名稱。
- -n或--line-number 在顯示符合范本樣式的那一列之前，標示出該列的列數(shù)編號。
- -q或--quiet或--silent 不顯示任何信息。
- -r或--recursive 此參數(shù)的效果和指定"-d recurse"參數(shù)相同。
- -s或--no-messages 不顯示錯誤信息。
- -v或--revert-match 反轉查找。
- -V或--version 顯示版本信息。
- -w或--word-regexp 只顯示全字符合的列。
- -x或--line-regexp 只顯示全列符合的列。
- -y 此參數(shù)的效果和指定"-i"參數(shù)相同。
- --help 在線幫助。
實例1 查找當前目錄下包含”test“內(nèi)容的所有文件
grep -r 匹配內(nèi)容 目錄，以遞歸的方式查找此目錄及子目錄下文件的內(nèi)容
實例2 反向查找(-v)
查找文件中不包含”test“內(nèi)容的行
2. egrep(擴展正則)
egrep執(zhí)行效果與"grep-E"相似，使用的語法及參數(shù)可參照grep指令，與grep的不同點在于解讀字符串的方法。
egrep是用extended regular expression語法來解讀的，而grep則用basic regular expression 語法解讀，extended regular expression比basic regular expression的表達更規(guī)范。
語法
- egrep [范本模式] [文件或目錄]
參數(shù)說明：
- [范本模式] ：查找的字符串規(guī)則。
- [文件或目錄] ：查找的目標文件或目錄。
實例1 查找當前目錄下包含“Apple”內(nèi)容的文件，并顯示匹配的行
實例2 匹配用戶配置文件中以“字母+數(shù)字+字母”命名的用戶
三. sed
Linux sed命令是利用script來處理文本文件。
sed可依照script的指令，來處理、編輯文本文件。
Sed主要用來自動編輯一個或多個文件;簡化對文件的反復操作;編寫轉換程序等。
語法
- sed [-hnV][-e<script>][-f<script文件>][文本文件]
參數(shù)說明：
- -e<script>或--expression=<script> 以選項中指定的script來處理輸入的文本文件。
- -f<script文件>或--file=<script文件> 以選項中指定的script文件來處理輸入的文本文件。
- -h或--help 顯示幫助。
- -n或--quiet或--silent 僅顯示script處理后的結果。
- -V或--version 顯示版本信息。
動作說明：
- a ：新增， a 的后面可以接字串，而這些字串會在新的一行出現(xiàn)(目前的下一行)～
- c ：取代， c 的后面可以接字串，這些字串可以取代 n1,n2 之間的行!
- d ：刪除，因為是刪除啊，所以 d 后面通常不接任何咚咚;
- i ：插入， i 的后面可以接字串，而這些字串會在新的一行出現(xiàn)(目前的上一行);
- p ：列印，亦即將某個選擇的數(shù)據(jù)印出。通常 p 會與參數(shù) sed -n 一起運行～
- s ：取代，可以直接進行取代的工作哩!通常這個 s 的動作可以搭配正規(guī)表示法!例如 1,20s/old/new/g 就是啦!
實例1 在“log.txt"的第4行后添加一行
實例2 將文件中的第2，3行刪除并顯示出來(注意，實際上”log.txt“文件并沒有被修改)
實例3 將文件中的2，3行用”No 2-3 number“取代
實例4 匹配每一行是否有”is“，然后僅輸出匹配的行的內(nèi)容
實例5 匹配包含”is“的行，并將其中的’a‘替換為’A‘
{}內(nèi)為執(zhí)行的命令，每條命令之間用”;“隔開
實例6 多點編輯，將文件中的第3行刪除，并將”test“替換為”TEST“
實例7 直接修改文件內(nèi)容(危險動作)
sed 可以直接修改文件的內(nèi)容，不必使用管道命令或數(shù)據(jù)流重導向! 不過，由於這個動作會直接修改到原始的文件，所以請你千萬不要隨便拿系統(tǒng)配置來測試!
在文件***一行插入一行內(nèi)容”How are you today“，并保存
四. awk
之所以叫AWK是因為其取了三位創(chuàng)始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的首字符。
語法
- awk [選項參數(shù)] 'script' var=value file(s)
- awk [選項參數(shù)] -f scriptfile var=value file(s)
選項參數(shù)說明：
- -F fs or --field-separator fs
- 指定輸入文件折分隔符，fs是一個字符串或者是一個正則表達式，如-F:。
- -v var=value or --asign var=value
- 賦值一個用戶定義變量。
- -f scripfile or --file scriptfile
- 從腳本文件中讀取awk命令。
- -mf nnn and -mr nnn
- 對nnn值設置內(nèi)在限制，-mf選項限制分配給nnn的***塊數(shù)目;-mr選項限制記錄的***數(shù)目。這兩個功能是Bell實驗室版awk的擴展功能，在標準awk中不適用。
- -W compact or --compat, -W traditional or --traditional
- 在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣，所有的awk擴展都被忽略。
- -W copyleft or --copyleft, -W copyright or --copyright
- 打印簡短的版權信息。
- -W help or --help, -W usage or --usage
- 打印全部awk選項和每個選項的簡短說明。
- -W lint or --lint
- 打印不能向傳統(tǒng)unix平臺移植的結構的警告。
- -W lint-old or --lint-old
- 打印關于不能向傳統(tǒng)unix平臺移植的結構的警告。
- -W posix
- 打開兼容模式。但有以下限制，不識別：/x、函數(shù)關鍵字、func、換碼序列以及當fs是一個空格時，將新行作為一個域分隔符;操作符**和**=不能代替^和^=;fflush無效。
- -W re-interval or --re-inerval
- 允許間隔正則表達式的使用，參考(grep中的Posix字符類)，如括號表達式[[:alpha:]]。
- -W source program-text or --source program-text
- 使用program-text作為源代碼，可與-f命令混用。
- -W version or --version
- 打印bug報告信息的版本。
運算符
| 運算符 | 描述 |
|---|---|
| = += -= *= /= %= ^= **= | 賦值 |
| ?: | C條件表達式 |
| || | 邏輯或 |
| && | 邏輯與 |
| ~ ~! | 匹配正則表達式和不匹配正則表達式 |
| < <= > >= != == | 關系運算符 |
| 空格 | 連接 |
| + - | 加，減 |
| * / & | 乘，除與求余 |
| + - ! | 一元加，減和邏輯非 |
| ^ *** | 求冪 |
| ++ -- | 增加或減少，作為前綴或后綴 |
| $ | 字段引用 |
| in | 數(shù)組成員 |
實例1
實例2
實例3
實例4
內(nèi)建變量
| 變量 | 描述 |
|---|---|
| \$n | 當前記錄的第n個字段，字段間由FS分隔 |
| \$0 | 完整的輸入記錄 |
| ARGC | 命令行參數(shù)的數(shù)目 |
| ARGIND | 命令行中當前文件的位置(從0開始算) |
| ARGV | 包含命令行參數(shù)的數(shù)組 |
| CONVFMT | 數(shù)字轉換格式(默認值為%.6g)ENVIRON環(huán)境變量關聯(lián)數(shù)組 |
| ERRNO | ***一個系統(tǒng)錯誤的描述 |
| FIELDWIDTHS | 字段寬度列表(用空格鍵分隔) |
| FILENAME | 當前文件名 |
| FNR | 同NR，但相對于當前文件 |
| FS | 字段分隔符(默認是任何空格) |
| IGNORECASE | 如果為真，則進行忽略大小寫的匹配 |
| NF | 當前記錄中的字段數(shù) |
| NR | 當前記錄數(shù) |
| OFMT | 數(shù)字的輸出格式(默認值是%.6g) |
| OFS | 輸出字段分隔符(默認值是一個空格) |
| ORS | 輸出記錄分隔符(默認值是一個換行符) |
| RLENGTH | 由match函數(shù)所匹配的字符串的長度 |
| RS | 記錄分隔符(默認是一個換行符) |
| RSTART | 由match函數(shù)所匹配的字符串的***個位置 |
| SUBSEP | 數(shù)組下標分隔符(默認值是/034) |
實例5
實例6 awk腳本
關于awk腳本，我們需要注意兩個關鍵詞BEGIN和END。
BEGIN{ 這里面放的是執(zhí)行前的語句 }
END {這里面放的是處理完所有的行后要執(zhí)行的語句 }
{這里面放的是處理每一行時要執(zhí)行的語句}
假設有這么一個文件(學生成績表)：
我們的awk腳本如下：
我們來看一下執(zhí)行結果：
實例7 從文件中找出長度大于18的行
