[[351331]]

我是一個網(wǎng)絡監(jiān)控軟件，我被開發(fā)出來的使命就是監(jiān)控網(wǎng)絡中進進出出的所有通信流量。

一直以來，我的工作都非常的出色，但是隨著我監(jiān)控的網(wǎng)絡越來越龐大，網(wǎng)絡中的通信流量也變得越來越多，我開始有些忙不過來了，逐漸發(fā)生丟包的現(xiàn)象，而且最近這一現(xiàn)象越發(fā)的嚴重了。

萬兆流量需求

一天晚上，程序員哥哥把我從硬盤上叫了起來。

“這都幾點了，你怎么還不下班啊?”，我問小哥哥。

“哎，產品經理說了，讓我下個月必須支持萬兆網(wǎng)絡流量的分析，我這壓力可大了，沒辦法只好加班了。”，說完整理了一下自己那日益稀疏的頭發(fā)。

“萬兆?10Gbps?開玩笑呢吧?這是要累死我的節(jié)奏啊”

“可不是嗎，可愁死我了。你快給我說說，你工作這么久了，有沒有干的不爽的或者覺得可以改進的地方都可以給我說說”，小哥哥真誠的看著我。

我思考了片刻說到：“要說干的不爽的，還真有!就是我現(xiàn)在花了太多時間在拷貝數(shù)據(jù)包了，把數(shù)據(jù)包從內核空間拷貝到用戶態(tài)空間，以前數(shù)據(jù)量小還行，現(xiàn)在網(wǎng)絡流量這么大，可真是要了我的老命了。”

小哥哥嘆了口氣，“哎，這個改不了，數(shù)據(jù)包是通過操作系統(tǒng)的API獲取的，操作系統(tǒng)又是從網(wǎng)卡那里讀取的，咱們是工作在用戶空間的程序，必須要拷貝一次，這沒辦法。你再想想別的?”

我也嘆了口氣，“那行吧，還有一個槽點，數(shù)據(jù)包收到后能不能直接交給我，別交給系統(tǒng)的協(xié)議棧和netfilter框架他們去處理了，反正我拿來后也要重新分析，每次都從他們那里過一次，他們辦事效率又低，這不拖累我的工作嘛”

小哥哥皺著眉頭，眨了眨眼睛說到：“大兄弟，這個咱也改不了啊，我這水平也有限，我還沒有能力改造你繞過操作系統(tǒng)讓你直接去跟網(wǎng)卡打交道啊。要不，要不你再說一個?嘿嘿”

“好吧，我也就不為難你了。有個簡單的問題，你可得改一下”

“什么問題，說說看?”

“就是我現(xiàn)在花了很多時間在線程切換上，等到再次獲得調度執(zhí)行后，經常發(fā)現(xiàn)換了一個CPU核，導致之前的緩存都失效了，得重新建立緩存，這又是一個很大的浪費啊!能不能讓我的工作線程獨占CPU的核心，這樣我肯定能提高不少工作效率!”

小哥哥稍微思考了一下，說到：“沒問題，這個可以有!用線程親和性就可以搞定，給你劃幾個核出來，不讓它們參與系統(tǒng)的線程調度分配，專門給你用，這事就包在我身上吧!”

中斷問題

過了幾天，程序員哥哥對我進行了升級改造，讓我的幾個工作線程都能獨占CPU核，工作效率提升了不少。

不過，距離產品經理要求的萬兆流量分析指標，那還是差了一大截。

一天晚上，程序員小哥哥又找我聊了起來。

“現(xiàn)在分析能力確實有所提升，不過離目標還差得遠啊，你快給我說說，還有沒有改進的建議給我啊?”

“有倒是有，但是我估計你還是會說改不了”，我翻了個白眼。

“你先說說看嘛!”

“現(xiàn)在這個數(shù)據(jù)包是用中斷的形式來通知讀取的，能不能不用中斷，讓我自己去取啊?你是不知道，每次中斷都要保存上下文，從用戶態(tài)切換到內核態(tài)，那么多流量，這開銷大了去了!”，我激動的說到。

小哥哥聽完沉默了。

“看吧，我就說你改不了吧!還是算了吧，趁早給產品經理說這個需求做不了，咱倆都輕松自在”

“那不行，這個項目對我非常重要，我還指望通過你來升職加薪，走向人生巔峰呢!”，小哥哥說的很堅定。

“實在不行，那就多找?guī)着_機器，把我copy幾份過去，軟件不行就靠硬件堆出性能嘛!”，我沖他眨了個眼睛。

“這還用你說，老板肯定不會同意的”

“那我沒轍了，實話告訴你吧，想要我能處理萬兆網(wǎng)絡流量，非得繞開操作系統(tǒng)，我親自去從網(wǎng)卡讀取數(shù)據(jù)包不可，你好好去研究下吧，想升職加薪，怎么能怕難呢!”，我給小哥哥打了打氣。

小哥哥點了點頭，“你說的是，我一定可以的，給我一點時間”

DPDK

就這樣過了一個多星期，程序員小哥哥一直沒再來找過我，也不知道他研究的怎么樣了。

又過了好幾天，他終于又來了。

“快出來!我找到辦法了，明天就開始改造你!”

我一聽來了興趣，“什么辦法?你打算怎么改造我?”

“這個新方案可以解決你之前提出的所有問題，可以讓你直接去跟網(wǎng)卡打交道，不用中斷來通知讀取數(shù)據(jù)包，也不用再把數(shù)據(jù)包交給系統(tǒng)協(xié)議棧和netfilter框架處理，不用再頻繁的在用戶態(tài)和內核態(tài)反復切換了!”，小哥哥越說越激動!

“你也太牛了吧，能把這些問題都解決了!你是怎么做到這些的，什么原理?”，我好奇的問到。

小哥哥有些不好意思，“我哪有那本事啊，其實這是別人開發(fā)的技術，我只是拿來用而已。”

“額，那你都弄清楚它的原理了嗎，別到時候坑我啊!”，我有些不太放心。

“這個你放心，這個技術叫DPDK，是人家Intel開發(fā)的技術，靠譜!”

接下來，程序員小哥哥給我介紹了這個叫DPDK的技術原理。

有了DPDK，通過操作系統(tǒng)的用戶態(tài)模式驅動UIO，我可以在用戶態(tài)通過輪詢的方式讀取網(wǎng)卡的數(shù)據(jù)包，再也不用中斷了!

直接在用戶態(tài)讀取，再也不用把數(shù)據(jù)包在內核態(tài)空間和用戶態(tài)空間搬來搬去。讀到了之后我直接就可以分析，還不用走系統(tǒng)協(xié)議棧和netfilter瞎耽誤功夫，簡直完美!

“還不止這些呢!還支持大頁內存技術”，小哥哥得意的說到。

“大頁內存?這是什么”

“默認情況下系統(tǒng)不是以4KB大小來管理內存頁面的嗎?這個單位太小了，對于咱們服務器內存會有大量的內存頁面，為了管理這些頁面，就會有大量的頁表項。CPU里面進行內存地址翻譯的緩存TLB大小有限，頁表項太多就會頻繁失效，降低內存地址翻譯的速度!”

 

聽到這里，我突然明白了：“我知道了，把這個單位調大，管理的內存頁面就少了，頁表項數(shù)量就少了，TLB就不容易失效，地址翻譯就能更快對不對?”

“沒錯，你猜猜看，調到多大?”，小哥哥故作神秘。

“翻一倍，8KB?”，見小哥哥搖搖頭，我又猜到：“難道是16KB?”

“太保守了，能支持2MB和1GB兩種大小呢!”

“這么大，厲害了!”

空轉問題

第二天，程序員小哥哥開始了對我進行了徹底的重構。

升級后的我試著跑了一下，發(fā)現(xiàn)了一個問題：如果數(shù)據(jù)包不是很多或者沒有數(shù)據(jù)包的情況下，我的輪詢基本上就挺浪費時間的，一直空轉，由于我獨占了一個核，這個核的占用率就一直是100%，不少別的程序都吐槽我，占著**不**。

于是，程序員小哥哥又對我進行了升級，用上了Interrupt DPDK模式：沒有數(shù)據(jù)包處理時就進入睡眠，改為中斷通知。還可以和其他線程共享CPU核，不再獨占，但是DPDK線程會有更高調度優(yōu)先級，一旦數(shù)據(jù)包多了起來，我又變成輪詢模式，可以靈活切換。

程序員哥哥連續(xù)加了兩個星期的班，經過一番優(yōu)化升級，我的數(shù)據(jù)包分析處理能力有了極大的提升。

然而遺憾的是，測試了幾輪，當面臨10Gbps的流量時，我還是有點力不從心，還是差了那么一點點。

小哥哥有些灰心喪氣，“我不知道該怎么辦了，你覺得還有什么哪些地方可以改進嗎?”

“我現(xiàn)在基本滿負荷工作了，應該沒有什么地方可以改進了。現(xiàn)在唯一有時間喘口氣的地方就是數(shù)據(jù)競爭的時候了，遇到數(shù)據(jù)被加了鎖發(fā)生線程切換歇一歇”

小哥哥思考了幾秒鐘，突然眼睛一亮，高興的說到：“有了!”

還沒來得及問，就把我關閉，下班去了～

到底程序員小哥哥又要對我做什么呢?

 本文轉載自微信公眾號「 編程技術宇宙」，可以通過以下二維碼關注。轉載本文請聯(lián)系 編程技術宇宙公眾號。