補(bǔ)牢TCP/IP——適應(yīng)長肥網(wǎng)絡(luò)環(huán)境
在經(jīng)過二十多年的發(fā)展后,TCP/IP協(xié)議早已不適應(yīng)現(xiàn)在的網(wǎng)絡(luò)環(huán)境和復(fù)雜應(yīng)用。針對(duì)協(xié)議優(yōu)化,各路廠商各出奇招,在自己擅長的領(lǐng)域里力求補(bǔ)牢TCP/IP。
年關(guān)將至,返鄉(xiāng)大軍又開始了艱難的回家之旅,不僅買票的過程異常波折,連回家也顯得格外擁擠,一些短途的黑車甚至趁機(jī)抬價(jià),這些都增添了身處異地的親人團(tuán)聚的難度。而他們平時(shí)就工作和生活在自己的城市里,不大會(huì)遇到這樣的問題。
這樣的情形很像今天局域網(wǎng)和廣域網(wǎng)上的狀態(tài),雖然廣域網(wǎng)的帶寬已經(jīng)增加了不少,但客戶端響應(yīng)時(shí)間長和數(shù)據(jù)傳輸速度慢的問題仍然十分緊迫,這在很大程度上跟網(wǎng)絡(luò)傳輸?shù)牡讓訁f(xié)議相關(guān),也就是TCP/IP。
長肥網(wǎng)絡(luò)——環(huán)境的演進(jìn)
TCP/IP在網(wǎng)絡(luò)行業(yè)擁有至高無上的地位,在OSI七層模型中居于網(wǎng)絡(luò)層和傳輸層最核心的位置,類似于《TCP/IP協(xié)議詳解》這樣的經(jīng)典書籍也是一個(gè)網(wǎng)絡(luò)工作者最基礎(chǔ)的入門課程。然而,經(jīng)過二十多年(TCP/IP協(xié)議誕生于1983年)的發(fā)展,TCP/IP也面臨很多問題,原有的協(xié)議棧和傳輸機(jī)制同現(xiàn)有的網(wǎng)絡(luò)環(huán)境越來越格格不入,其中最具代表性也是TCP/IP最難適應(yīng)的就是所謂的長肥網(wǎng)絡(luò)(LFN,意指長距離廣域網(wǎng)、高帶寬的網(wǎng)絡(luò)環(huán)境)。
作為傳輸控制協(xié)議,在實(shí)驗(yàn)室低速網(wǎng)絡(luò)環(huán)境下誕生的TCP/IP協(xié)議,在設(shè)計(jì)初期只是為了保證數(shù)據(jù)在鏈路上的可靠傳輸,其余的問題基本都沒有考慮。如今長肥網(wǎng)絡(luò)廣泛存在于實(shí)際環(huán)境中,TCP協(xié)議的滑動(dòng)窗口,重傳和恢復(fù)等機(jī)制(在此不做詳細(xì)探討)使得廣域網(wǎng)的傳輸效率急劇下降;而隨著廣域網(wǎng)的鏈路速率日益提高,原本TCP的窗口尺寸、慢啟動(dòng)等機(jī)制也無法充分利用網(wǎng)絡(luò)帶寬?!耙恍┢髽I(yè)因?yàn)檫h(yuǎn)程訪問數(shù)據(jù)中心速度慢而擴(kuò)容廣域網(wǎng)帶寬,但是TCP協(xié)議本身的限制,擴(kuò)容后用戶沒有感受到與帶寬提升相應(yīng)的速度提高?!盉lue Coat中國區(qū)產(chǎn)品市場經(jīng)理申強(qiáng)表示。
Riverbed大中華區(qū)產(chǎn)品市場總監(jiān)丁偉談到廣域網(wǎng)傳輸瓶頸時(shí)說,由于物理距離的局限,廣域網(wǎng)上的時(shí)延是不可避免的,一個(gè)T3鏈路(45Mbps)的時(shí)延超過40ms(且TCP窗口較?。r(shí),數(shù)據(jù)傳輸能力很快下降到與T1鏈路(1.544Mbps)相差無幾的水平上。
F5中國區(qū)技術(shù)總監(jiān)吳靜濤特別指出TCP/IP的容錯(cuò)傳輸機(jī)制問題:“在延遲很小的網(wǎng)絡(luò)上TCP校驗(yàn)包可以忽略不計(jì),但幾千公里出去,很可能就是幾百毫秒的延遲(中國的網(wǎng)絡(luò)壓力比較大,這種情況很常見),可能光等校驗(yàn)包的累計(jì)時(shí)間就要用分鐘來計(jì)算,這種延遲在廣域網(wǎng)上無疑是致命的。”
在網(wǎng)絡(luò)環(huán)境變化的同時(shí),應(yīng)用復(fù)雜度也疾速提升。在早期客戶端多為C/S架構(gòu)時(shí),一個(gè)TCP連接就對(duì)應(yīng)一個(gè)應(yīng)用,類似于慢啟動(dòng)、窗口遞增和丟包減半等機(jī)制的效率還是很高的。但如今用戶更關(guān)注的往往是應(yīng)用層的交易(而不是連接),且大部分應(yīng)用已經(jīng)B/S化,一次交易對(duì)應(yīng)很多Web對(duì)象的訪問和多次的TCP連接,給服務(wù)器端帶來極大的性能壓力。
北京郵電大學(xué)網(wǎng)絡(luò)技術(shù)研究院教授,信息網(wǎng)絡(luò)中心主任馬嚴(yán)則指出,TCP在無線領(lǐng)域也不是太適應(yīng),原有協(xié)議對(duì)丟包和抖動(dòng)并不是非常關(guān)心,在抗干擾能力、多徑效應(yīng)、丟包參數(shù)控制等方面,TCP有很大的改進(jìn)余地。
廣域網(wǎng)優(yōu)化——TCP的修補(bǔ)
實(shí)際上,業(yè)界對(duì)于TCP/IP協(xié)議的各種修補(bǔ)和優(yōu)化時(shí)間也不算短了,還誕生了不少專門做這件事情的公司,而對(duì)于傳統(tǒng)的網(wǎng)絡(luò)廠商來說,也通過一些QoS的辦法盡量彌補(bǔ)TCP不足。
神州數(shù)碼網(wǎng)絡(luò)有限公司產(chǎn)品經(jīng)理陳智勇告訴我們,目前在底層(相對(duì)于應(yīng)用層)上通常采用的辦法是在遵循原有協(xié)議的基礎(chǔ)上,通過對(duì)硬件和代碼層面上的改動(dòng)(如提高查表速度,ARP刷新速度、防護(hù)ARP攻擊等)提高網(wǎng)絡(luò)設(shè)備的性能。
以狀態(tài)監(jiān)測防火墻為例,設(shè)備必須記錄每條信息的狀態(tài),其并發(fā)的TCP連接可能達(dá)到上百萬個(gè),復(fù)雜應(yīng)用甚至達(dá)到上千萬個(gè),對(duì)CPU的計(jì)算能力影響非常大。于是人們想出了不同的解決方案:如AISC將查表的過程放在硬件的芯片或電路上來做,或者采用NP的方式針對(duì)三層路由提升性能,但這些手段或者不夠靈活,或者無法實(shí)現(xiàn)高層TCP會(huì)話重組等功能。目前在一些高端應(yīng)用上更多采用的辦法是“多核+FPGA”的路子,既可以解決計(jì)算能力,又能夠?qū)崟r(shí)編程。
另外,在以硬件產(chǎn)品提升性能的基礎(chǔ)上,針對(duì)城域網(wǎng)/教育網(wǎng)/園區(qū)網(wǎng)等環(huán)境,神州數(shù)碼還在帶寬最小的出口鏈路上實(shí)施QoS,通過協(xié)議/應(yīng)用的識(shí)別進(jìn)而實(shí)現(xiàn)優(yōu)化,保障重要應(yīng)用(時(shí)延敏感的應(yīng)用)的帶寬和優(yōu)先級(jí)。“這種方式?jīng)]有對(duì)協(xié)議棧進(jìn)行任何干擾,更為實(shí)際一些?!?陳智勇表示,“如果通過協(xié)議干擾的方式,一旦識(shí)別出錯(cuò),就會(huì)影響正常用戶應(yīng)用,這個(gè)風(fēng)險(xiǎn)是很大的。”
實(shí)際上,有很多網(wǎng)絡(luò)優(yōu)化廠商也都實(shí)現(xiàn)了針對(duì)TCP流量分類和速率控制上的QoS優(yōu)化。申強(qiáng)表示,“用戶需要在網(wǎng)絡(luò)上界定每一個(gè)數(shù)據(jù)是什么,使用效果怎么樣,但TCP自身缺乏服務(wù)質(zhì)量和信令控制,其提供的端口信息在很多情況下已經(jīng)沒有任何作用了?!?/P>
對(duì)此,Blue Coat通過在去年收購Packeteer進(jìn)一步完善了其應(yīng)用交付解決方案,通過綜合分析應(yīng)用層和網(wǎng)絡(luò)層信息,從相同的TCP端口中真正區(qū)分出每個(gè)應(yīng)用。另外,在做控制時(shí)改變了傳統(tǒng)隊(duì)列機(jī)制加TCP丟包去做擁塞控制的低效率方式,利用TCP本身流控能力,去把每個(gè)應(yīng)用平穩(wěn)地約束在所在帶寬上,不會(huì)有擁塞也不會(huì)有丟包。
從應(yīng)用層角度出發(fā),包括Blue Coat、F5、Riverbed等公司在內(nèi)的優(yōu)化廠商經(jīng)常采用一種類似于“協(xié)議欺騙”的方法實(shí)現(xiàn)優(yōu)化。具體來說,通過在服務(wù)器和客戶端分別放置代理設(shè)備,構(gòu)建代理設(shè)備與服務(wù)器的局域網(wǎng)連接環(huán)境,由代理設(shè)備代替客戶端進(jìn)行TCP校驗(yàn)的交互,極大地節(jié)省了廣域網(wǎng)鏈路上的延遲累計(jì)時(shí)間;同時(shí),在面向廣域網(wǎng)的一側(cè),代理設(shè)備往往通過改進(jìn)的TCP/IP協(xié)議進(jìn)一步優(yōu)化傳輸效果,不僅降低了服務(wù)器負(fù)載,還優(yōu)化了應(yīng)用,提高了用戶體驗(yàn)。
而針對(duì)大量TCP連接對(duì)服務(wù)器資源的占用問題,吳靜濤表示,通過One Connect和TCP Express等連接優(yōu)化手段可以釋放服務(wù)器壓力。F5的廣域網(wǎng)優(yōu)化設(shè)備可以直接實(shí)現(xiàn)TCP連接的優(yōu)化,例如外部用戶發(fā)起的1萬個(gè)連接,經(jīng)過設(shè)備以后可合并成100個(gè)甚至更少的長連接到服務(wù)器,幫用戶免費(fèi)節(jié)省30%左右的服務(wù)器壓力。此外,當(dāng)客戶端很慢的時(shí)候,還可以先將服務(wù)器的回應(yīng)包緩存在設(shè)備內(nèi),盡快結(jié)束和服務(wù)器的連接,再由優(yōu)化設(shè)備慢慢將服務(wù)器回應(yīng)傳輸給客戶端,這樣也可以降低服務(wù)器的在線連接,更好的發(fā)揮服務(wù)器能力(一般在服務(wù)器端實(shí)現(xiàn),與客戶端無關(guān),大型應(yīng)用上比較多)。
此外,吳靜濤還特別提到對(duì)復(fù)雜應(yīng)用的TCP優(yōu)化:復(fù)雜應(yīng)用的用戶會(huì)話一般由多個(gè)TCP(甚至是UDP)連接組成,在多個(gè)連接間存在相互關(guān)聯(lián)關(guān)系,在大的服務(wù)集群中,如果不能通過輔助處理將這些關(guān)聯(lián)的連接標(biāo)識(shí),并交由一個(gè)集群節(jié)點(diǎn)服務(wù),就會(huì)出現(xiàn)訪問故障。例如用戶的注冊(cè)和訪問必須在同一集群節(jié)點(diǎn),如果將注冊(cè)和訪問的兩個(gè)不同的TCP連接分配到不同的集群節(jié)點(diǎn),訪問失敗是必然的。如何判斷這些不同的TCP聯(lián)機(jī)是否關(guān)聯(lián),或是否由一個(gè)用戶發(fā)起是和應(yīng)用相關(guān)的,比如HTTP協(xié)議可以用Cookie或會(huì)話ID,而移動(dòng)用戶可以用Calling ID或手機(jī)號(hào)碼,而這些處理方法都是TCP協(xié)議沒有涵蓋的,需要高層協(xié)議或其他設(shè)備的支持。
丁偉則重點(diǎn)強(qiáng)調(diào)了在協(xié)議加速和應(yīng)用層代理基礎(chǔ)上針對(duì)用戶原始數(shù)據(jù)的優(yōu)化,這也是Riverbed在廣域網(wǎng)優(yōu)化方面比較有特色的地方?!肮庠赥CP上做文章還不夠,尤其是在有限帶寬的廣域網(wǎng)上,如何在傳輸之前先把本身的數(shù)據(jù)進(jìn)行優(yōu)化同樣重要?!倍ケ硎?,“如果將文件進(jìn)行解析會(huì)發(fā)現(xiàn),任何兩點(diǎn)間的傳輸都有很多重復(fù)的數(shù)據(jù),如果把這個(gè)字和表達(dá)先存在當(dāng)?shù)?,只傳過去一個(gè)索引,再把原來暫時(shí)儲(chǔ)存的內(nèi)容字典還原,可以從數(shù)據(jù)的檢索方面節(jié)省大約80%的流量。不過,加密文件和VoIP、實(shí)時(shí)視頻等特殊數(shù)據(jù)除外。”在加上Riverbed在協(xié)議優(yōu)化方面的High Speed TCP技術(shù)(可實(shí)現(xiàn)TCP窗口動(dòng)態(tài)分配和隧道捆綁),以及通過WDS Steelhead加速設(shè)備實(shí)現(xiàn)的應(yīng)用層代理,真正實(shí)現(xiàn)了Riverbed針對(duì)廣域網(wǎng)優(yōu)化的“三管齊下”。
最后,針對(duì)TCP的優(yōu)化設(shè)備甚至還能解決網(wǎng)絡(luò)安全問題。“在互聯(lián)網(wǎng)上最常見的DoS/DDoS攻擊,主要是利用TCP的Syn來進(jìn)行攻擊?!眳庆o濤表示,“通過Syn cookie和Delay Binding(延遲綁定)技術(shù)可以用來解決這個(gè)問題。F5的TMOS架構(gòu)采用雙TCP堆棧技術(shù),客戶端和F5設(shè)備先建立TCP連接,在F5設(shè)備收到真正的請(qǐng)求包后,才會(huì)代理客戶端發(fā)起訪問,這樣的處理方法保證攻擊根本無法到達(dá)服務(wù)器,來保證應(yīng)用的正常服務(wù),很多的銀行網(wǎng)銀系統(tǒng)和互聯(lián)網(wǎng)站都是采用這種處理方法?!?/P>
IPv6——IP的修補(bǔ)
與TCP協(xié)議本身優(yōu)化手段較少不同,IPv6的出現(xiàn)極大地解決了IP協(xié)議優(yōu)化的問題。對(duì)此馬嚴(yán)表示,“在緩解IP地址空間的同時(shí),IPv6還簡化了包頭,使得從前除源地址和目的地址外的十字段IPv4包頭改為IPv6的六字段,同時(shí)IPv6的包頭是定長的,這些都使得網(wǎng)絡(luò)上負(fù)責(zé)轉(zhuǎn)發(fā)的路由器開銷減小,進(jìn)而硬件性能得以提高。另外,協(xié)議層要求在IP層上增強(qiáng)安全防護(hù)措施,其中IPSec是強(qiáng)制實(shí)施的,使得IPv6的安全特征有所增強(qiáng),并且即插即用的特征也增強(qiáng)了?!?/P>
馬嚴(yán)表示,目前北京郵電大學(xué)全校的有線/無線接入網(wǎng)絡(luò)都采用IPv4/IPv6雙棧,并且服務(wù)也有1/3放了上去,雖然在地址空間和安全方面的特性不很明顯,但即插即用的功能還是不錯(cuò),幾乎感覺不到要做什么配置。
據(jù)悉,“中國下一代互聯(lián)網(wǎng)示范工程”歷時(shí)五年的發(fā)展,已建成世界上最大的IPv6示范網(wǎng)絡(luò),在真實(shí)IPv6源地址認(rèn)證和下一代互聯(lián)網(wǎng)過渡等核心技術(shù)方面已經(jīng)走在世界的前列,初步形成了僅次于美國的下一代互聯(lián)網(wǎng)產(chǎn)業(yè)群,并有望在國際上率先實(shí)現(xiàn)IPv6商用。此外,我國國產(chǎn)IPv6網(wǎng)絡(luò)設(shè)備的全球市場占有率已經(jīng)躍居世界第二,僅次于美國。中國下一代互聯(lián)網(wǎng)示范工程已經(jīng)向互聯(lián)網(wǎng)標(biāo)準(zhǔn)組織IETF申請(qǐng)互聯(lián)網(wǎng)標(biāo)準(zhǔn)草案9項(xiàng),獲批2項(xiàng),這也是中國第一次進(jìn)入互聯(lián)網(wǎng)核心標(biāo)準(zhǔn)領(lǐng)域。
不過,一些專家也指出,我國下一代互聯(lián)網(wǎng)產(chǎn)業(yè)整體還較弱,尚未形成包括設(shè)備制造、網(wǎng)絡(luò)運(yùn)營、軟件和信息資源開發(fā)、信息服務(wù)、終端研制的產(chǎn)業(yè)鏈。同樣值得警惕的是,與我國在下一代互聯(lián)網(wǎng)上取得的成就相比,我國現(xiàn)在擁有的IPv6地址數(shù)量不容樂觀。
“IPv6還是繼承了IPv4的一些設(shè)想,雖然附帶了QoS、安全、VPN等方面的特性,但必須源到目的之間每個(gè)節(jié)點(diǎn)都要真正支持才行?!标愔怯卤硎玖肆硗庖环N擔(dān)憂,“由于各個(gè)廠商支持TCP/IP的程度不一樣,附加特性會(huì)被有意無意地忽略掉,使得建成的IP網(wǎng)絡(luò)變成一個(gè)盡力投送的網(wǎng)絡(luò)。因此從改變協(xié)議方面去努力只是一個(gè)方面,不如提高現(xiàn)實(shí)的部署和應(yīng)用?!?/P>
陳智勇談到,如果根據(jù)IPv6設(shè)計(jì)框架,各種特性還是需要每個(gè)節(jié)點(diǎn)支持,走IPv4原有路線的話,成功的可能性還是不夠大。神州數(shù)碼在支持IPv6協(xié)議方面比較全面一些,但還是不夠,需要大家一起都來做。目前IPv6全球論壇正在對(duì)支持IPv6的產(chǎn)品進(jìn)行認(rèn)證,一步一步地認(rèn)證各個(gè)階段,最后通過認(rèn)證的設(shè)備就支持了完整的協(xié)議棧。
針對(duì)用戶向IPv6網(wǎng)絡(luò)的演進(jìn),申強(qiáng)表示:“我們和很多企業(yè)網(wǎng)用戶探討,可否將你的網(wǎng)絡(luò)直接演進(jìn)到IPv6了?一些用戶認(rèn)為客戶端、服務(wù)器、路由器都可以支持了。實(shí)際上,IPv6的連接性不是最大的制約問題,現(xiàn)有的QoS設(shè)備、網(wǎng)絡(luò)安全設(shè)備、應(yīng)用層安全設(shè)備、管理系統(tǒng)、審計(jì)系統(tǒng)等全部要向IPv6演進(jìn),不是一個(gè)真正可運(yùn)營可管理的IPv6網(wǎng)絡(luò)?!彼硎綛lue Coat在這方面做了很多工作,憑借其IPv6 Ready的Proxy SG設(shè)備,這家公司正在幫助日本和北美的一些企業(yè)客戶將他們系統(tǒng)上的管理和安全機(jī)制向IPv6演進(jìn)。
TCP/IP協(xié)議優(yōu)化方式一覽表
針對(duì)層次 |
優(yōu)化技術(shù) |
優(yōu)化原理 |
傳輸發(fā)起端 |
原始數(shù)據(jù)優(yōu)化 |
通過壓縮、重復(fù)數(shù)據(jù)刪除和字典等技術(shù),可節(jié)省絕大多數(shù)傳輸數(shù)據(jù)量,節(jié)約帶寬,提高服務(wù)器性能 |
數(shù)據(jù)緩存技術(shù) |
將類HTTP的業(yè)務(wù)、圖片、文字等緩存在本地,只傳輸動(dòng)態(tài)內(nèi)容,減少帶寬占用 | |
物理層(硬件) |
提升設(shè)備性能 |
基于現(xiàn)有的TCP/IP,通過硬件方式提高性能,提高大量TCP并發(fā)連接和會(huì)話重組等處理能力 |
網(wǎng)絡(luò)層(IP) |
IPv6 |
在解決地址空間的基礎(chǔ)上,改進(jìn)了IPv4的包頭設(shè)置,并增強(qiáng)了安全性和即插即用特性,但面臨互操作性、可管理性和大規(guī)模應(yīng)用等問題。 |
QoS和流量控制 |
通過協(xié)議識(shí)別,實(shí)現(xiàn)在同一端口中不同應(yīng)用的真正區(qū)分,進(jìn)而通過分流實(shí)現(xiàn)時(shí)延敏感應(yīng)用的帶寬保障 | |
傳輸層(TCP) |
代理設(shè)備 |
在傳輸兩端各架設(shè)代理設(shè)備,所有的響應(yīng)報(bào)文都在本地完成,只有真正發(fā)起請(qǐng)求時(shí)才通過鏈路,相當(dāng)于同時(shí)在服務(wù)器和客戶端進(jìn)行協(xié)議欺騙 |
|
TCP協(xié)議優(yōu)化 |
通過在廣域網(wǎng)兩端部署專用設(shè)備,在不影響基本傳輸情況下,通過各種手段對(duì)TCP窗口、響應(yīng)、啟動(dòng)等機(jī)制進(jìn)行改進(jìn),從而以提高協(xié)議機(jī)制的效率 |
應(yīng)用層 |
應(yīng)用代理(緩存) |
將常用的應(yīng)用程序緩存在本地并配置好,用戶可不用在本地等待類似于認(rèn)證等會(huì)話過程,而是直接開始下一個(gè)應(yīng)用,實(shí)現(xiàn)流水作業(yè) |
|
操作系統(tǒng) |
Windows XP、Vista等系統(tǒng)也帶有一定的針對(duì)TCP流控機(jī)制的優(yōu)化措施,但存在對(duì)端支持和兼容性問題 |
編看編想:全面調(diào)理 無特效藥
這篇文章談了不少TCP/IP協(xié)議優(yōu)化方面的技術(shù)(詳見本文表格),本來打算在這里做一個(gè)效果對(duì)比的,最終放棄這個(gè)想法的原因,是發(fā)現(xiàn)這些技術(shù)實(shí)際上并非互斥,而是互相呼應(yīng),互為補(bǔ)充的。從嚴(yán)格意義上來說,類似于壓縮和緩存技術(shù)這樣的技術(shù)甚至不應(yīng)當(dāng)算作是TCP/IP協(xié)議優(yōu)化的一部分(有些人將之看成是節(jié)省帶寬的一種途徑),而實(shí)際上它們都是在解決由于協(xié)議弊端而帶來的問題。
馬嚴(yán)在采訪中表示,對(duì)于廣域網(wǎng)來說,目前有若干和TCP并行的SCTP、XTP等算法,但都沒有得到普及,想要替代TCP的結(jié)果都是不成功的。的確如此,在現(xiàn)實(shí)的網(wǎng)絡(luò)環(huán)境中,TCP/IP協(xié)議的應(yīng)用太廣泛了,如果網(wǎng)絡(luò)設(shè)備的協(xié)議棧不一樣,難免出現(xiàn)互聯(lián)互通問題,比網(wǎng)絡(luò)優(yōu)化還要麻煩??梢哉f,除非徹底推翻協(xié)議棧(短期內(nèi)當(dāng)然是不可能的),并沒有根除TCP/IP弊病的特效藥,而應(yīng)當(dāng)是一個(gè)全面調(diào)理,綜合治愈的整體解決方案。
畢竟,對(duì)于用戶來說,希望獲得的是一個(gè)端到端的性能提升,必須要求從各個(gè)層面的各種技術(shù)綜合運(yùn)用。從原始數(shù)據(jù)的優(yōu)化開始,到網(wǎng)絡(luò)硬件的性能提升,再到TCP層面的QoS流控,以及應(yīng)用層的協(xié)議優(yōu)化等,這些技術(shù)手段就像是一個(gè)個(gè)中藥匣子。同時(shí),針對(duì)用戶不同類型的應(yīng)用,還要各種手段密切搭配,配好藥方,最后才能達(dá)到更好的協(xié)議優(yōu)化效果,實(shí)現(xiàn)用戶體驗(yàn)的完美提升。
【編輯推薦】