作為一名Web開發(fā)者，當(dāng)程序出現(xiàn)問題時日子總不是那么好過。問題可能無處不在，可能是你發(fā)送的請求出了錯，可能是回復(fù)出了錯，可能是你使用的某個第三方庫出了問題，又或者是一個外部API調(diào)用失敗了。優(yōu)秀的工具對于定位問題出在何處有著無可估量的價值，而且能在一開始就幫助我們阻止問題的出現(xiàn)，總的來說能使我們的工作更有效率。命令行工具尤其有用，因?yàn)樗鼈兎浅Ｒ子谧鲎詣踊湍_本處理，能夠以各種不同的方式進(jìn)行組合和重用。本文介紹了6個非常強(qiáng)大且靈活的工具，熟練使用這些工具能使你的生活變得更輕松一些。

Curl

Curl是一個網(wǎng)絡(luò)傳輸工具，同wget非常相似。主要的區(qū)別在于wget默認(rèn)是保存到文件，而curl將輸出定向到命令行上。這使得curl能非常方便的查看站點(diǎn)的內(nèi)容。比如，我們可以從ifconfig.me站點(diǎn)得到我們本機(jī)的IP地址：

$ curl ifconfig.me  
   
93.96.141.93 

Curl的-i（查看header）和-I（只顯示header）選項(xiàng)使得調(diào)試HTTP響應(yīng)以及查看服務(wù)器究竟發(fā)送給你了什么變得非常有用：

$ curl -I news.ycombinator.com  
HTTP/1.1 200 OK  
Content-Type: text/html; charset=utf-8  
Cache-Control: private 
Connection: close 

-L選項(xiàng)也很有用，能讓curl自動跟蹤重定向。Curl支持HTTP基本認(rèn)證，cookies，手動設(shè)定headers以及更多有用的功能。

Ngrep

如果要分析網(wǎng)絡(luò)數(shù)據(jù)包，我們有Wireshark，它有著上千種設(shè)定、過濾器以及配置選項(xiàng)。它還有一個命令行版本Tshark。如果只是針對簡單的任務(wù)，我覺得Wireshark就太重量級了，所以除非我需要更強(qiáng)大的功能，一般情況下就用ngrep來處理了。Ngrep可以讓你像類似grep處理文件的方式來處理網(wǎng)絡(luò)封包。

針對Web流量，你幾乎總是想要加上-W byline選項(xiàng)，這會保留換行符，而-q選項(xiàng)可以抑制某些非匹配數(shù)據(jù)包而產(chǎn)生的輸出。下面是一個抓取所有包含有GET或POST請求數(shù)據(jù)包的例子：

ngrep –q –W byline “^(GET|POST) .*” 

你也可以傳入附加的報文過濾選項(xiàng)，比如限制匹配的報文只針對某個特定的主機(jī)，IP或端口。這里我們把所有流經(jīng)Google的流量做一個過濾，只針對80端口且報文中包含“search”。

ngrep –q –W byline “search” host www.google.com and port 80 

Netcat

Netcat或者叫nc，這是一個自稱是網(wǎng)絡(luò)中的瑞士軍刀般的工具。它很簡單但也非常強(qiáng)大和靈活，允許你創(chuàng)建任意的網(wǎng)絡(luò)連接。這里我們來看看如何把它作為一個端口掃描器：

$ nc –z example.com 20-100 
Connection to example.com 22 port [tcp/ssh] succeeded!  
Connection to example.com 80 port [tcp/ssh] succeeded! 

除了能夠創(chuàng)建任意的連接，Netcat還能夠監(jiān)聽傳入的連接。這里我們利用nc的這個功能再配合tar來快速有效的在服務(wù)器之間拷貝文件。在服務(wù)器端，運(yùn)行：

$nc –l 9090 | tar –xzf – 

在客戶端運(yùn)行：

$tar –czf dir/ | nc server 9090 

我們可以使用Netcat把任何應(yīng)用通過網(wǎng)絡(luò)暴露出來，這里我們通過8080端口將shell暴露出來：

$ mkfifo backpipe  
$ nc –l 8080 0<backpipe | /bin/bash > backpipe 

現(xiàn)在我們可以通過任意一臺客戶機(jī)來訪問服務(wù)器了：Linode

$ nc example.com 8080  
uname –a  
Linux li228-162 2.6.39.1-linode34 ##1 SMP Tue Jun 21 10:29:24 EDT 2011 i686 GNU/Linux 

盡管后面這兩個例子有些投機(jī)取巧的成分（現(xiàn)實(shí)中你應(yīng)該使用類似rsync這樣的工具來拷貝文件，用SSH來遠(yuǎn)程登錄服務(wù)器），它們還是展示出了Netcat的強(qiáng)大和靈活，通過結(jié)合netcat和其它的應(yīng)用你可以實(shí)現(xiàn)很多不同的事情。

Sshuttle

Sshuttle允許你通過任意一臺可SSH訪問的服務(wù)器來為你的流量建立安全的隧道。搭建和使用都非常簡單，不需要你在服務(wù)器上安裝任何軟件或者修改任何本地代理設(shè)定。當(dāng)你在非安全的公共WiFi或其他不受信任的網(wǎng)絡(luò)中時，通過SSH讓流量走安全隧道，這樣就可避免類似Firesheep或dsniff這樣的工具的侵?jǐn)_。所有的網(wǎng)絡(luò)通訊，包括DNS請求都會發(fā)送到你的SSH服務(wù)器：

$ sshuttle –r <server> --dns 0/0 

如果你提供了—daemon參數(shù)，sshuttle會以守護(hù)進(jìn)程的形式在后臺運(yùn)行。結(jié)合一些其他的選項(xiàng)，你可以使用別名形式來簡單快速的啟動和停止安全隧道：

alias tunnel=’sshuttle –D –pidfile=/tmp/sshuttle.pid –r <server> --dns 0/0’  
alias stoptunnel=’[[ -f /tmp/sshuttle.pid ]] && kill `cat /tmp/sshuttle.pid`’ 

你也可以使用sshuttle來解決一些基于IP的地理定位篩選的問題，如今有很多服務(wù)都在使用這種應(yīng)用比如BBC的iPlayer就需要你在英國，還有Turntable，需要你在美國。要繞過這種限制，你需要訪問到位于該國的某個服務(wù)器。Amazon在許多國家都有免費(fèi)的E2C微實(shí)例，或者你也可以找一個便宜的vps，幾乎世界上任何國家都有。

在這個例子中，我們不需要讓所有的流量都走隧道，我們只需要針對目標(biāo)服務(wù)的流量就行了。

不幸的是sshuttle只接受IP地址作為參數(shù)，不支持主機(jī)名，所以我們還得先用dig來解析出主機(jī)名。

$ sshuttle –r <server> `dig +short <hostname>` 

Siege

Siege是一個HTTP基準(zhǔn)測試工具。除了負(fù)載測試功能外，它還有一個很方便的-g選項(xiàng)，這非常類似于curl的-iL，只是這里Siege也會輸出請求header。這里是針對Google的一個例子（為了簡潔我拿掉了一些header）

$ siege -g www.google.com  
GET / HTTP/1.1  
Host: www.google.com  
User-Agent: JoeDog/1.00 [en] (X11; I; Siege 2.70)  
Connection: close   
   
HTTP/1.1 302 Found  
Location: http://www.google.co.uk/  
Content-Type: text/html; charset=UTF-8  
Server: gws  
Content-Length: 221  
Connection: close   
   
GET / HTTP/1.1  
Host: www.google.co.uk  
User-Agent: JoeDog/1.00 [en] (X11; I; Siege 2.70)  
Connection: close   
   
HTTP/1.1 200 OK  
Content-Type: text/html; charset=ISO-8859-1  
X-XSS-Protection: 1; mode=block 
Connection: close 

Siege真正在行的是服務(wù)器的負(fù)載測試。就像ab（一款A(yù)pache HTTP服務(wù)基準(zhǔn)測試工具）一樣，你可以向站點(diǎn)發(fā)送并發(fā)請求，并查看它如何處理流量。用下面的命令，我們會在30秒內(nèi)向Google發(fā)起20個并發(fā)連接，最后會得到一個漂亮的測試報告。

$ siege -c20 www.google.co.uk -b -t30s  
...  
Lifting the server siege... done.  
Transactions: 1400 hits  
Availability: 100.00 %  
Elapsed time: 29.22 secs  
Data transferred: 13.32 MB  
Response time: 0.41 secs  
Transaction rate: 47.91 trans/sec  
Throughput: 0.46 MB/sec  
Concurrency: 19.53  
Successful transactions: 1400  
Failed transactions: 0  
Longest transaction: 4.08  
Shortest transaction: 0.08 

Siege最有用的一個特性是它可以把一個記錄URL的文件作為輸入，然后“點(diǎn)擊”這些URL，而不是只處理一個單獨(dú)的頁面。這對于負(fù)載測試來說很有用，因?yàn)槟憧梢詫φ军c(diǎn)重現(xiàn)真實(shí)的流量并觀察站點(diǎn)如何處理，而不必一遍又一遍重復(fù)點(diǎn)擊同一個URL。下面是你用Siege來重現(xiàn)Apache對另一臺服務(wù)器的日志記錄，以做負(fù)載測試的例子：

$ cut -d ' ' -f7 /var/log/apache2/access.log > urls.txt  
$ siege -c<concurrency rate> -b -f urls.txt 

Mitmproxy

Mitmproxy是一個支持SSL的HTTP中間人代理工具，它允許你檢查HTTP和HTTPS流量并支持直接改寫請求。這個應(yīng)用曾經(jīng)在一些有關(guān)iOS應(yīng)用的隱私丑聞中都出現(xiàn)過，包括Path的地址簿上傳丑聞。它的直接改寫請求的能力也被用來針對iOS平臺，其應(yīng)用包括在GameCenter中偽造一個虛假的高分?jǐn)?shù)值。

Mitmproxy可不只是用來查看移動應(yīng)用發(fā)送了些什么內(nèi)容或者是偽造幾個高分?jǐn)?shù)值那么簡單。它同樣可以為Web開發(fā)者解決很多問題。比如，之前我們需要不停點(diǎn)擊F5鍵或者清除緩存才能保證看到最新的內(nèi)容，現(xiàn)在你可以運(yùn)行：

$ mitmproxy --anticache 

然后跑一遍用戶注冊流程，目前為止應(yīng)該能如預(yù)期般的工作。用Ctrl+C來停止記錄。在任意時刻我們都能重現(xiàn)剛剛記錄到的交互過程，并檢查200狀態(tài)碼：

$ mitmdump -c user-signup | tail -n1 | grep 200 && echo "OK" || echo "FAIL" 

如果注冊流程中的任意一點(diǎn)出了問題，我們將看到FAIL消息而不是OK。你可以創(chuàng)建一整套這類測試套件，并經(jīng)常執(zhí)行這類測試以確保當(dāng)站點(diǎn)突然出現(xiàn)故障時你會得到提示。

作者簡介

Ben Dowling是一名英國的軟件工程師，現(xiàn)居住在加州的Mountain View。他的博客地址是coderholic.com 推特賬號是@coderholic

英文原文：Ben Dowling

譯文鏈接：http://blog.jobbole.com/30251/