01/ 從開(kāi)發(fā)者的煩惱說(shuō)起

開(kāi)發(fā)者在編寫代碼時(shí)，需要花費(fèi)大量時(shí)間在低層次的重復(fù)編碼上，特別是針對(duì)一些語(yǔ)法比較冗余的開(kāi)發(fā)語(yǔ)言。

同時(shí)，開(kāi)發(fā)者經(jīng)常被戲稱為面向搜索引擎編程，因?yàn)槲覀兘?jīng)常需要通過(guò)通用搜索引擎去查詢文檔資料，但是通用搜索引擎的內(nèi)容質(zhì)量參差不齊，開(kāi)發(fā)者在找文檔、選文檔上都需要花費(fèi)大量時(shí)間，這會(huì)讓我們的開(kāi)發(fā)過(guò)程碎片化，無(wú)法集中精力聚焦在業(yè)務(wù)邏輯的開(kāi)發(fā)上。

在代碼評(píng)審階段，評(píng)審人需要費(fèi)時(shí)費(fèi)力的人工評(píng)審，特別是當(dāng)變更代碼特別多的時(shí)候，評(píng)審人很難去完成評(píng)審任務(wù)，只能大致看一下，從而違背了評(píng)審的初衷。在評(píng)審過(guò)程中，傳統(tǒng)的代碼檢測(cè)工具無(wú)法發(fā)現(xiàn)深層次的潛在缺陷，也不能提供缺陷的修復(fù)方案，從而為線上故障埋下了隱患。 

開(kāi)發(fā)過(guò)程中存在的問(wèn)題

那么諸多的煩惱，應(yīng)該怎么解決呢？

02/ 代碼智能如何賦能日常開(kāi)發(fā)

阿里云云效代碼智能團(tuán)隊(duì)通過(guò)AI技術(shù)，打造了多款業(yè)界領(lǐng)先的智能編碼以及代碼檢測(cè)工具，是國(guó)內(nèi)首個(gè)將AI能力應(yīng)用到代碼評(píng)審場(chǎng)景的團(tuán)隊(duì)。此外，我們也通過(guò)與學(xué)術(shù)界的深入合作，通過(guò)論文和專利，保持著技術(shù)的先進(jìn)性。下面我們?cè)敿?xì)介紹。

代碼智能補(bǔ)全能力及原理

在編寫代碼時(shí)，云效Codeup 能通過(guò) WebIDE 為開(kāi)發(fā)者提供智能化的編碼輔助，快速完成輕量級(jí)編碼，也能讓開(kāi)發(fā)者通過(guò)語(yǔ)言描述快速地找到所需的代碼文檔或者代碼示例，減少編碼過(guò)程的碎片化。

在編寫代碼時(shí)，只需要輸入幾個(gè)字符，甚至一個(gè)字符，代碼智能補(bǔ)全插件就能結(jié)合代碼上下文及其語(yǔ)義，推薦出多個(gè)整行的代碼補(bǔ)全候選項(xiàng)，前面標(biāo)注圖標(biāo)的就是代碼智能補(bǔ)全插件提供的結(jié)果。在不同的代碼行，輸入同一個(gè)字符，比如X字符，它就能推薦出更適合當(dāng)前位置的行級(jí)代碼補(bǔ)全結(jié)果。它也能自動(dòng)地將代碼上文中出現(xiàn)的變量或參數(shù)，自動(dòng)地填充到合適的代碼補(bǔ)全候選項(xiàng)中。

代碼智能補(bǔ)全能夠幫助開(kāi)發(fā)者減少重復(fù)性較高的低層次編碼，大幅提升編碼效率，以視頻演示的代碼片段為例，

如果只是使用 IDE 內(nèi)置的代碼補(bǔ)全，需要敲擊鍵盤700次，花費(fèi)5分鐘的時(shí)間才能完成代碼的編寫；

使用某業(yè)界頂尖的同類產(chǎn)品，鍵盤輸入次數(shù)減少了33%，花費(fèi)的時(shí)間減少了6%。為什么鍵盤敲擊次數(shù)減少了很多，時(shí)間減少的卻很少呢？因?yàn)樗o出的代碼補(bǔ)全候選項(xiàng)過(guò)多，并且存在較多的錯(cuò)誤，需要開(kāi)發(fā)者花時(shí)間去做選擇，選擇太多反而不是好事；

使用我們?cè)菩ё灾餮邪l(fā)的代碼智能補(bǔ)全插件，鍵盤輸入次數(shù)減少了65%，編碼耗時(shí)減少了57%，只需要2分鐘左右就能完成代碼的編寫。

那么我們是如何做到的呢？我們使用了多模型融合技術(shù)，將擅長(zhǎng)點(diǎn)各有側(cè)重的多個(gè)模型融合到一起，一個(gè)人決策可能不太準(zhǔn)，多個(gè)人一起決策就能盡可能的減少誤判，其中的深度學(xué)習(xí)模型、語(yǔ)義模型等都能做到代碼上下文的感知，輸入同一個(gè)字符，在不同的代碼位置，會(huì)推薦不同的代碼補(bǔ)全結(jié)果，并且能將上文中出現(xiàn)的變量或參數(shù)，自動(dòng)填充到補(bǔ)全的候選項(xiàng)中。

阿里巴巴內(nèi)部開(kāi)發(fā)者的使用情況顯示，相比于 IDE 內(nèi)置的補(bǔ)全，代碼智能補(bǔ)全能幫助開(kāi)發(fā)者平均提升20%的編碼效率。那么代碼智能補(bǔ)全的實(shí)現(xiàn)原理是怎么樣的呢？

我們會(huì)將代碼解析成抽象語(yǔ)法樹(shù)，并對(duì)AST進(jìn)行數(shù)據(jù)處理，我們將處理好的數(shù)據(jù)通過(guò)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，剛開(kāi)始的幾個(gè)迭代，還只能生成一些雜亂的序列，模型會(huì)將生成的序列與期望生成的序列進(jìn)行對(duì)比，計(jì)算誤差并更正模型數(shù)據(jù)，在N個(gè)迭代之后，它已經(jīng)能生成符合語(yǔ)法的正確代碼序列。在代碼智能補(bǔ)全階段，我們將深度學(xué)習(xí)模型、語(yǔ)義模型、統(tǒng)計(jì)學(xué)模型等多個(gè)不同種類的模型融合在一起，去生成代碼補(bǔ)全的候選項(xiàng)，然后通過(guò)語(yǔ)法校正，避免將不符合語(yǔ)法的代碼推薦給開(kāi)發(fā)者。

代碼智能評(píng)審在代碼評(píng)審中，當(dāng)開(kāi)發(fā)者創(chuàng)建評(píng)審時(shí)，云效Codeup 會(huì)為其推薦更合適的評(píng)審人，他可能更熟悉變更的代碼，而評(píng)審人也能在評(píng)審列表上看到每個(gè)評(píng)審的預(yù)估耗時(shí)，幫助評(píng)審人充分利用碎片化時(shí)間進(jìn)行評(píng)審，同時(shí)在瀏覽評(píng)審時(shí)，開(kāi)發(fā)者經(jīng)常需要查看某個(gè) API 的定義或引用，而我們提供的語(yǔ)法跳轉(zhuǎn)服務(wù)可以讓評(píng)審人像在 IDE 中一樣，在網(wǎng)頁(yè)端進(jìn)行代碼定義和引用的跳轉(zhuǎn)。此外，我們也提供了更深層次的代碼檢測(cè)工具幫助評(píng)審人更快的發(fā)現(xiàn)隱藏缺陷，并能快速的修復(fù)缺陷。

代碼智能安全檢測(cè)關(guān)于代碼檢測(cè)，這里主要聊一下代碼內(nèi)容安全的檢測(cè)。說(shuō)到代碼安全，每年都會(huì)有非常多漏洞被發(fā)現(xiàn)，并且被黑客利用。比如早些年的Struts框架上傳文件模塊的漏洞，能讓黑客遠(yuǎn)程執(zhí)行Shell命令；近期的比如Chrome的零日漏洞，它存在Use-After-Free的問(wèn)題，它會(huì)允許黑客在渲染進(jìn)程中去執(zhí)行遠(yuǎn)程代碼，比如用戶如果在Chrome中打開(kāi)PDF文件，黑客就能通過(guò)遠(yuǎn)程命令獲取相關(guān)的用戶數(shù)據(jù)。

為此，云效Codeup為開(kāi)發(fā)者提供了依賴包漏洞檢測(cè)、源碼漏洞檢測(cè)等代碼內(nèi)容安全檢測(cè)工具。

依賴包漏洞檢測(cè)

依賴包漏洞檢測(cè)能幫助開(kāi)發(fā)者發(fā)現(xiàn)三方包中存在的漏洞隱患，三方包大部分是開(kāi)源軟件，而開(kāi)源軟件很少進(jìn)行安全測(cè)試，并且黑客也更愿意去發(fā)現(xiàn)開(kāi)源軟件的漏洞，因?yàn)榇a是開(kāi)源的，比較容易發(fā)現(xiàn)安全漏洞，而且一旦發(fā)現(xiàn)了安全漏洞，那么它的影響面會(huì)很大，絕大部分引用了存在安全漏洞三方包的應(yīng)用，都會(huì)受到黑客攻擊的威脅。

云效Codeup 的依賴包漏洞檢測(cè)工具會(huì)先將代碼進(jìn)行編譯構(gòu)建，并采集代碼所有的依賴包，然后通過(guò)漏洞匹配算法從漏洞庫(kù)中查詢準(zhǔn)確的漏洞信息，為了讓漏洞庫(kù)覆蓋更全面，我們集成了多個(gè)外部漏洞庫(kù)以及阿里集團(tuán)安全團(tuán)隊(duì)自建的漏洞庫(kù)。開(kāi)發(fā)者獲取到的漏洞信息會(huì)包含建議升級(jí)的版本范圍，為了減少依賴包版本升級(jí)后對(duì)應(yīng)用穩(wěn)定性產(chǎn)生的影響，我們會(huì)對(duì)每個(gè)依賴包版本進(jìn)行有效性以及兼容性分析，然后會(huì)為開(kāi)發(fā)者推薦建議升級(jí)的版本號(hào)，并且提供通過(guò)一鍵創(chuàng)建代碼評(píng)審修復(fù)依賴包漏洞的快捷入口。

源碼漏洞檢測(cè)

在代碼內(nèi)容安全檢測(cè)領(lǐng)域，除了剛才提到的依賴包漏洞檢測(cè)，我們也提供了對(duì)代碼庫(kù)自身的源碼漏洞檢測(cè)工具。

云效Codeup 基于源傘檢測(cè)引擎，將代碼中的數(shù)據(jù)流和控制流轉(zhuǎn)換成數(shù)學(xué)語(yǔ)言，然后對(duì)數(shù)學(xué)語(yǔ)言進(jìn)行定理證明，能夠更準(zhǔn)確的推導(dǎo)代碼中的路徑條件，減少誤報(bào)。同時(shí)，它具備跨函數(shù)的全文分析能力，比如有多層的函數(shù)調(diào)用關(guān)系，如果最底層的函數(shù)存在一些代碼安全風(fēng)險(xiǎn)，并且會(huì)影響最上層的業(yè)務(wù)代碼，它也能通過(guò)將代碼的數(shù)據(jù)流以及函數(shù)調(diào)用關(guān)系，解析為圖結(jié)構(gòu)，通過(guò)對(duì)代碼圖譜的分析，能夠快速的發(fā)現(xiàn)潛在的安全風(fēng)險(xiǎn)。此外，我們對(duì)檢測(cè)出來(lái)的漏洞信息也會(huì)給與詳細(xì)的解釋，告訴開(kāi)發(fā)者每個(gè)漏洞在代碼中是怎么一步步帶來(lái)影響的。

當(dāng)我們提交完代碼后，云效Codeup 能自動(dòng)執(zhí)行已開(kāi)啟的代碼檢測(cè)，比如視頻中已開(kāi)啟的依賴包漏洞檢測(cè)，我們也可以手動(dòng)開(kāi)啟源碼漏洞檢測(cè)。

依賴包漏洞檢測(cè)能發(fā)現(xiàn)眾多三方包漏洞，會(huì)在詳細(xì)信息中展示疑似的CVE漏洞信息；源碼漏洞檢測(cè)能發(fā)現(xiàn)代碼注入、遠(yuǎn)程命令執(zhí)行、緩沖區(qū)溢出等安全漏洞，并且會(huì)在詳細(xì)信息的右側(cè)展示漏洞在代碼中的影響路徑。

我們可以在依賴包漏洞的詳細(xì)信息中，通過(guò)一鍵創(chuàng)建代碼評(píng)審，幫助我們快速的生成修復(fù)指定漏洞的代碼變更及其合并請(qǐng)求，評(píng)審描述中會(huì)提供漏洞的解釋信息以及升級(jí)包的兼容性分析。

03/ 代碼智能技術(shù)的不斷探索

除了上面介紹的已經(jīng)落地到云效的智能化能力，我們與浙江大學(xué)、莫納什大學(xué)、南洋理工大學(xué)等高校在代碼生成、代碼搜索、智能評(píng)審等領(lǐng)域進(jìn)行了深入的合作，在多個(gè)領(lǐng)域產(chǎn)出了論文和專利。

比如，我們與南洋理工大學(xué)合作的代碼摘要生成項(xiàng)目，很多時(shí)候開(kāi)發(fā)者不太喜歡寫注釋，或者不知道怎么寫注釋，導(dǎo)致代碼的可維護(hù)性不高，為了幫助開(kāi)發(fā)者更好的理解代碼，我們期望通過(guò)對(duì)代碼邏輯的學(xué)習(xí)和理解，自動(dòng)生成出代碼片段的摘要注釋。我們會(huì)先從代碼大數(shù)據(jù)中挖掘出一批代碼的片段及其注釋，構(gòu)建代碼片段檢索庫(kù)，然后從檢索庫(kù)中找到與目標(biāo)代碼相似的代碼片段，并且將目標(biāo)代碼和相似的代碼片段都解析成CPG圖結(jié)構(gòu)，我們會(huì)基于注意力機(jī)制通過(guò)融合算法將兩個(gè)圖結(jié)構(gòu)融合在一起，然后經(jīng)過(guò)圖權(quán)重的靜態(tài)計(jì)算及動(dòng)態(tài)計(jì)算，并通過(guò)模型獲得對(duì)圖信息的編碼數(shù)據(jù)，最后，將相似代碼片段的摘要注釋進(jìn)行編碼后，與圖結(jié)構(gòu)的編碼信息聚合在一起，通過(guò)解碼器就能生成目標(biāo)代碼的摘要注釋。相關(guān)論文《RETRIEVAL-AUGMENTED GENERATION FOR CODE SUMMARIZATION VIA HYBRID GNN》。

開(kāi)發(fā)者花費(fèi)時(shí)間比較多的地方除了寫代碼，就是調(diào)試代碼，我們期望通過(guò)代碼缺陷定位去輔助開(kāi)發(fā)者排查缺陷。代碼缺陷定位會(huì)先從代碼變更數(shù)據(jù)中，挖掘出有效的缺陷代碼作為訓(xùn)練集，并且將缺陷代碼解析成抽象語(yǔ)法樹(shù)，然后將抽象語(yǔ)法樹(shù)按代碼行進(jìn)行拆解，每一行代碼對(duì)應(yīng)一個(gè)子語(yǔ)法樹(shù)，將子語(yǔ)法樹(shù)從葉子節(jié)點(diǎn)到根節(jié)點(diǎn)編碼成多條子路徑，最后，將每行代碼關(guān)聯(lián)的子路徑放到基于注意力機(jī)制的深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練。當(dāng)需要代碼缺陷定位時(shí)，開(kāi)發(fā)者提交代碼后，我們會(huì)從代碼變更中抽取出變更代碼行的子路徑，通過(guò)模型推理，我們就能得到每行代碼的缺陷概率，從而輔助開(kāi)發(fā)者排查缺陷。

除了上面提到的兩個(gè)合作項(xiàng)目，我們與各個(gè)高校在多個(gè)領(lǐng)域進(jìn)行了廣泛的合作。我們期望在不久的將來(lái)，開(kāi)發(fā)者能在云效的智能化研發(fā)平臺(tái)上，只需要提供文字描述或需求文檔，我們就能為其生成出大部分基礎(chǔ)代碼及其依賴項(xiàng)，并能通過(guò)智能編碼輔助快速的完成代碼填充，代碼缺陷也將無(wú)處遁形，期望大家可以保持對(duì)云效產(chǎn)品動(dòng)態(tài)的關(guān)注。