實(shí)例解析用Perl抓取網(wǎng)頁和提交表格
本文和大家重點(diǎn)討論一下用Perl抓取網(wǎng)頁和提交表格的方法,在學(xué)習(xí)Perl的過程中這些問題是經(jīng)常會(huì)遇到的,這里簡(jiǎn)單介紹一下用Perl來實(shí)現(xiàn)抓好取網(wǎng)頁的源代碼,以及用POST的方法來提交表格,并返回結(jié)果。
用Perl抓取網(wǎng)頁和提交表格
這里簡(jiǎn)單介紹一下用Perl來實(shí)現(xiàn)抓好取網(wǎng)頁的源代碼,以及用POST的方法來提交表格,并返回結(jié)果。難的講不來,講講簡(jiǎn)單的。
這里講到的Perl模塊有:
useLWP::Simple;useLWP::UserAgent;用Perldoc查看詳細(xì)的用法。
1,用Perl抓取網(wǎng)頁
如果只是要拿到某個(gè)網(wǎng)頁,那使用LWP::Simple里的函數(shù)是最簡(jiǎn)單的。通過調(diào)用get($url)函數(shù),就可以得到相關(guān)網(wǎng)址的內(nèi)容。
- my$url='http://freshair.npr.org/dayFA.cfm?todayDate=current'
- useLWP::Simple;
- my$content=get$url;
- die"Couldn'tget$url"unlessdefined$content;
#$content里是網(wǎng)頁內(nèi)容,下面是對(duì)此內(nèi)容作些分析:
- if($content=~m/jazz/i){
- print"They'retalkingaboutjazztodayonFreshAir!\n";
- }else{
- print"FreshAirisapparentlyjazzlesstoday.\n";
- }
非常簡(jiǎn)單易懂。拿網(wǎng)頁內(nèi)容是容易的,難的是用正則過濾需要的內(nèi)容。
2,通過POST提交表格
部分HTML表格使用HTMLPOST向服務(wù)器提交數(shù)據(jù),在這里你可以這樣:
- $response=$browser->post($url,
- [
- formkey1=>value1,
- formkey2=>value2,
- ...
- ],
- );
實(shí)例分析:例如在http://www.enzim.hu/hmmtop/html/submit.html)提交一段序列并返回結(jié)果,用Perl來實(shí)現(xiàn)。代碼如下:
- #!/usr/bin/Perl
- useLWP::UserAgent;
- my$browser=LWP::UserAgent->new;
- $protein="MSSSTPFDPYALSEHDEERPQNVQSKSRTAELQAEIDDTVGIMRDNINKVAERGERLTSI";
- my$SUSUI_URL="http://www.enzim.hu/hmmtop/server/hmmtop.cgi";
- my$response=$browser->post($SUSUI_URL,['if'=>$protein,]);
- if($response->is_success){
- print$response->content;
- }else{
- print"Badluckthistime\n";
- }
通過分析http://www.enzim.hu/hmmtop/html/submit.html的頁面可知,這個(gè)要提交的input只有一個(gè),就是name="if"。$protein就是要提交的序列。$response->content就是返回結(jié)果。
【編輯推薦】
- Perl if語句用法實(shí)例解析
- Perl文件句柄概念詳解
- 實(shí)例解析Perl守護(hù)進(jìn)程用法
- Perl基礎(chǔ) Perl數(shù)組學(xué)習(xí)指南
- 術(shù)語匯編 Perl變量中Perl關(guān)聯(lián)數(shù)組用法解析