Java中創(chuàng)建URL的常見問題及解決方案
URL無處不在,不過似乎開發(fā)人員并沒有真正地理解它們,因?yàn)槲以赟tack Overflow上經(jīng)??吹接腥嗽趩柸绾握_的創(chuàng)建一個(gè)URL。想知道URL語法是如何工作的,可以看下Lunatech的 這篇文章 ,非常不錯(cuò) 。
本文不會深入介紹URL的全部語法(如果你想全面了解URL的話,可以讀下 RFC 3986 , RFC 1738 , 以及上面提到的那篇文章,還有 W3上面的文檔 ), 這里我想講的是常見的一些庫在操作URL方面存在的錯(cuò)誤,以及如何通過 URL-builder 來正確的使用它,這是我們發(fā)布的一個(gè)用于正確地創(chuàng)建URL的Java庫。
問題1:Java的URLEncoder
這個(gè)類不僅名字取的很差,而且它的文檔上來***句話就不太對頭。
Utility class for HTML form encoding.
你可能正納悶為什么叫URLEncoder呢,看到這行就徹底無語了。
如果你讀過Lunatech的那篇博文,現(xiàn)在你應(yīng)該明白了,你沒法通過這個(gè)類將一個(gè)URL串奇跡般地轉(zhuǎn)化成一個(gè)安全,正確編碼的URL對象,當(dāng)然如果你沒做足功課的話,這里有個(gè)小例子可以幫助你理解下。
假設(shè)你有個(gè)HTTP的服務(wù)端點(diǎn)http://foo.com/search,它接受一個(gè)查詢參數(shù)p,p的值就是要查找的字符串。如果你搜索”You & I”這個(gè)串的話,你***次創(chuàng)建的搜索的URL可能是這樣:http://foo.com/search?q=You & I。這個(gè)當(dāng)然沒法工作,因?yàn)?amp;是分隔查詢參數(shù)name/value對的分隔符。如果你拿到這個(gè)錯(cuò)亂的URL串的話,你對它簡直束手無策,因?yàn)槭紫饶憔蜎]法正確的解析它。
那好,我們來使用下URLEncoder。URLEncoder.encode(“You & I”, “UTF-8″)是結(jié)果是You+%26+I。這個(gè)%26解碼之后就是&,而+號在查詢串中代表的就是空格,因此這個(gè)URL是能正常工作的。
現(xiàn)在假設(shè)你想使用你的查詢串來拼接URL路徑,而不是放到URL參數(shù)里面。很明顯,http://foo.com/search/You & I是錯(cuò)誤的。不幸的是,URLEncoder.encode()的結(jié)果也是錯(cuò)的。http://foo.com/search/You+%26+I解碼后會得到/search/You+&+I,因?yàn)?號在URL路徑中是不會解析成空格的。
URLEncoder或許能滿足你的一些場景。但不幸的是,它這個(gè)過于通用的名字使得開發(fā)人員很容易誤用它。因此***的方法就是不要使用它,免得后面別的開發(fā)人員在你的基礎(chǔ)上又使用了別的功能時(shí)犯錯(cuò)(除非,你真的是在進(jìn)行”HTML表單編碼”)。
問題2:Groovy HttpBuilder以及Java的URI
HTTP Builder 是Groovy的一個(gè)HTTP客戶端庫。
創(chuàng)建一個(gè)普通的GET請求非常簡單:
new HTTPBuilder("http://localhost:18080").request(Method.GET) {
uri.path = "/foo"
}
這段代碼會發(fā)送GET /foo HTTP/1.1到服務(wù)端(你可以運(yùn)行nc -l -p 18080之后再執(zhí)行這段代碼驗(yàn)證下)。
我們來試一下包含空格的URL。
new HTTPBuilder("http://localhost:18080").request(Method.GET) {
uri.path = "/foo bar"
}
這個(gè)發(fā)送的是GET /foo%20bar HTTP/1.1,看起來還不錯(cuò)。
現(xiàn)在假設(shè)我們的路徑中有一段就叫做foo/bar。這可不能簡單地發(fā)送foo/bar就完了,因?yàn)檫@會被認(rèn)為成路徑中包含兩段,foo和bar,那我們試下foo%2Fbar吧(把/替換成對應(yīng)的編碼)。
new HTTPBuilder('http://localhost:18080').request(Method.GET) {
uri.path = '/foo%2Fbar'
}
這個(gè)發(fā)送的則是GET /foo%252Fbar HTTP/1.1。這可不太妙。%2F中的%被重復(fù)編碼了,這樣解碼后拿到的路徑是foo%2Fbar而不是foo/bar。這里其實(shí)真正要怪的是 java.net.URI,因?yàn)檫@個(gè)HTTPBuilder里的URIBuilder類用的就是它。
上述代碼中的配置閉包中暴露的uri屬性的類型是URIBuilder。如果你通過uri.path = …來更新uri的path屬性的話,它最終會調(diào)用URI的一個(gè)構(gòu)造方法,這個(gè)方法對于傳入的path屬性是這么描述的:
如果提供了path參數(shù),則將它追加到URL后面。path里面的字符,只要不是非保留,標(biāo)點(diǎn),轉(zhuǎn)義及其它分類(譯注:這幾個(gè)分類在RFC 2396中有詳細(xì)說明)的字符,同時(shí)又不是/或者@號的,都會進(jìn)行編碼。
這個(gè)做法意義不大,因?yàn)槿绻淳幋a前的文本包含特殊字符的話,它就無法生成一個(gè)正確編碼的路徑分段。換句話說,“我會對這個(gè)字符串進(jìn)行編碼,而編碼之后它就是正確的”,這當(dāng)然是個(gè)謬論,而URI正好是這個(gè)謬論的犧牲品。如果字符串已經(jīng)正確編碼了,那就沒什么問題,如果不是的話,那就完蛋了,因?yàn)檫@個(gè)串沒法解析。事實(shí)上,文檔里說的不會對/號轉(zhuǎn)義的意思是,它假設(shè)path串已經(jīng)正確地編碼了(就是說正確地使用/來分隔路徑),同時(shí)又還沒有正確地編碼(除了/外的其它部分仍然需要進(jìn)行編碼)。
如果HTTPBuilder不使用URI類的這個(gè)存在缺陷的功能就好了,當(dāng)然了,如果URI自己本身沒問題的話就更好了。
正確的做法
我們寫了這個(gè)url-builder,它能幫助開發(fā)人員方便的拼接各種類型的URL。它遵循了篇首那幾個(gè)參考資料中的編碼規(guī)范,同時(shí)它還提供了流式的API。下面這個(gè)使用示例幾乎可以涵蓋所有的使用場景了:
UrlBuilder.forHost("http", "foo.com")
.pathSegment("with spaces")
.pathSegments("path", "with", "varArgs")
.pathSegment("&=?/")
.queryParam("fancy + name", "fancy?=value")
.matrixParam("matrix", "param?")
.fragment("#?=")
.toUrlString()
結(jié)果是: http://foo.com/with%20spaces/path/with/varArgs/&=%3F%2F;matrix=param%3F?fancy%20%2B%20name=fancy?%3Dvalue#%23?=
這個(gè)例子演示了URL各個(gè)部分的不同的編碼規(guī)則,比如說在路徑中未編碼的&=是允許的,而?/則是需要編碼的,但在查詢參數(shù)中=是需要編碼的,但?號則不需要,因?yàn)檫@里已經(jīng)是查詢串的部分了(譯注:查詢串是從一個(gè)?號開始的,因此后面可以包含?號)。