每天成千上萬(wàn)新的 API 或加密密鑰通過(guò) GitHub 項(xiàng)目泄露出去。

　　六個(gè)月期間掃描 GitHub 公共代碼庫(kù)總數(shù)中 13% 的數(shù)十億個(gè)文件后發(fā)現(xiàn)，超過(guò) 100000 個(gè)代碼庫(kù)泄露了 API 令牌和加密密鑰，每天數(shù)千個(gè)新的代碼庫(kù)在泄露新的秘密內(nèi)容。

　　這次掃描是北卡羅來(lái)納州立大學(xué)（NCSU）的團(tuán)隊(duì)開(kāi)展的一項(xiàng)學(xué)術(shù)研究的課題，研究結(jié)果已交給 GitHub，GitHub 看到調(diào)查結(jié)果后采取了行動(dòng)，加快開(kāi)發(fā)一項(xiàng)名為令牌掃描（Token Scanning）的新安全功能，目前該功能處于測(cè)試階段。

　　研究人員掃描了數(shù)十億個(gè) GitHub 文件

　　NCSU 的這項(xiàng)研究是迄今為止對(duì) GitHub 最全面和最深入的掃描，超過(guò)之前的任何同類研究。

　　2017 年 10 月 31 日至 2018 年 4 月 20 日，NCSU 的研究人員掃描了多個(gè) GitHub 帳戶，掃描時(shí)間持續(xù)近六個(gè)月，尋找 API 令牌和加密密鑰等格式的文本字符串。

　　他們不僅使用 GitHub Search API 來(lái)尋找這些文本模式，就像之前的其他研究工作一樣，還查看了谷歌的 BigQuery 數(shù)據(jù)庫(kù)中記錄的 GitHub 代碼庫(kù)快照。

　　在這六個(gè)月期間，研究人員分析了無(wú)數(shù) GitHub 代碼庫(kù)當(dāng)中的數(shù)十億個(gè)文件。

　　在上個(gè)月發(fā)表的一篇研究論文中，NCSU 的三人團(tuán)隊(duì)表示，他們使用 GitHub Search API 獲取并分析了代表 681784 個(gè)代碼庫(kù)的 4394476 個(gè)文件，以及代表谷歌的 BigQuery 數(shù)據(jù)庫(kù)中記錄的 3374973 個(gè)代碼庫(kù)的另外 2312763353 個(gè)文件。

　　NCSU 團(tuán)隊(duì)掃描了 11 家公司的 API 令牌

　　研究人員在這龐大的文件堆中尋找采用特定的 API 令牌或加密密鑰格式的文本字符串。

　　由于并非所有的 API 令牌和加密密鑰都采用同樣的格式，因此 NCSU 團(tuán)隊(duì)決定使用 15 種 API 令牌格式（來(lái)自屬于 11 家公司的 15 項(xiàng)服務(wù)，其中 5 家來(lái)自 Alexa Top 50）和 4 種加密密鑰格式。

　　這包括谷歌、亞馬遜、Twitter、Facebook、Mailchimp、MailGun、Stripe、Twilio、Square、Braintree 和 Picatic 使用的 API 密鑰格式。

　　許多流行 API 的密鑰有著獨(dú)特的結(jié)構(gòu)，一旦泄密，將導(dǎo)致安全風(fēng)險(xiǎn)。

　　結(jié)果立馬出來(lái)了，研究項(xiàng)目發(fā)現(xiàn)每天數(shù)千個(gè) API 和加密密鑰泄露出去。

　　總的來(lái)說(shuō)，NCSU 團(tuán)隊(duì)表示他們發(fā)現(xiàn)了 575456 個(gè) API 和加密密鑰，其中 201642 個(gè)具有獨(dú)特性，它們都散布于 100000 多個(gè) GitHub 項(xiàng)目中。

　　合并數(shù)據(jù)集中的秘密內(nèi)容絕大多數(shù)被單一所有者使用。

　　研究團(tuán)隊(duì)在學(xué)術(shù)論文中披露，使用谷歌 Search API 找到的“秘密內(nèi)容”和通過(guò)谷歌 BigQuery 數(shù)據(jù)集發(fā)現(xiàn)的“秘密內(nèi)容”也很少有重疊。

　　研究人員說(shuō)：“合并兩個(gè)數(shù)據(jù)集后，我們確定這兩個(gè)數(shù)據(jù)集中出現(xiàn)了 7044 個(gè)秘密內(nèi)容，占總數(shù)的 3.49%。這表明我們的方法在很大程度上是互補(bǔ)的。”

　　此外，大多數(shù) API 令牌和加密密鑰（93.58%）來(lái)自單一所有者帳戶，而不是多個(gè)所有者代碼庫(kù)。

　　這意味著 NCSU 團(tuán)隊(duì)發(fā)現(xiàn)的絕大多數(shù) API 和加密密鑰很可能是實(shí)際環(huán)境中使用的有效令牌和密鑰，因?yàn)槎鄠€(gè)所有者的帳戶通常往往包含用于共享測(cè)試環(huán)境和開(kāi)發(fā)階段代碼的測(cè)試令牌。

　　泄露的 API 和加密密鑰停留數(shù)周

　　由于研究項(xiàng)目是在六個(gè)月的期間內(nèi)進(jìn)行，研究人員還有機(jī)會(huì)觀察帳戶所有者是否以及何時(shí)認(rèn)識(shí)到自己泄露了 API 和加密密鑰，并從代碼中刪除敏感數(shù)據(jù)。

　　該團(tuán)隊(duì)表示，他們跟蹤的 API 和加密密鑰中有6% 在泄露后一小時(shí)內(nèi)被刪除，這表明這些 GitHub 所有者立馬意識(shí)到了所犯的錯(cuò)誤。

　　超過(guò) 12% 的密鑰和令牌一天后消失，而 19% 的密鑰和令牌最多停留了 16 天。

　　研究人員說(shuō)：“這也意味著我們發(fā)現(xiàn)的秘密內(nèi)容中 81% 沒(méi)有被刪除。這 81% 秘密內(nèi)容的開(kāi)發(fā)人員很可能不知道秘密內(nèi)容被泄露，或者低估了泄露的風(fēng)險(xiǎn)。”

　　短期和長(zhǎng)期監(jiān)測(cè)秘密內(nèi)容

　　研究團(tuán)隊(duì)發(fā)現(xiàn)了一些重大泄露　　

　　研究人員開(kāi)始研究其中一些內(nèi)容是從何處泄露時(shí)，這種掃描的重要性顯露出來(lái)。

　　NCSU 團(tuán)隊(duì)說(shuō)：“有一次，我們發(fā)現(xiàn)了我們認(rèn)為是美國(guó)數(shù)百萬(wàn)大學(xué)申請(qǐng)者所依賴的一大網(wǎng)站的 AWS 登錄信息，可能是由承包商泄露的。”

　　“我們還找到了一個(gè)西歐國(guó)家的主要政府機(jī)構(gòu)的網(wǎng)站的 AWS 登錄信息。在這種情況下，我們能夠證實(shí)該帳戶的有效性，甚至證實(shí)提交秘密內(nèi)容的特定開(kāi)發(fā)商。該開(kāi)發(fā)商在網(wǎng)上聲稱擁有近 10 年的開(kāi)發(fā)經(jīng)驗(yàn)。”

　　在另一個(gè)案例中，研究人員還發(fā)現(xiàn)了 564 個(gè)谷歌 API 密鑰，這些密鑰被一家在線網(wǎng)站用來(lái)規(guī)避 YouTube 的速率限制，并下載以后托管在另一個(gè)視頻共享門戶網(wǎng)站上的 YouTube 視頻。

　　NCSU 的研究人員說(shuō)：“由于密鑰數(shù)量非常多，我們懷疑（但無(wú)法確認(rèn)）這些密鑰可能是以欺詐手段獲得的。”

　　此外，研究人員還發(fā)現(xiàn)了 7280 個(gè) RSA 密鑰。研究人員發(fā)現(xiàn)，通過(guò)分析這些配置文件中的其他設(shè)置，絕大多數(shù)用戶禁用了密碼身份驗(yàn)證，完全依賴 RSA 密鑰進(jìn)行身份驗(yàn)證，這意味著凡是發(fā)現(xiàn)這些密鑰的人都可以訪問(wèn)成千上萬(wàn)的私密網(wǎng)絡(luò)。

　　研究人員使用其他 API 令牌掃描工具分析他們自己的數(shù)據(jù)集以確定掃描系統(tǒng)的效率時(shí)，掃描結(jié)果的高質(zhì)量也顯露無(wú)遺。

　　研究團(tuán)隊(duì)說(shuō)：“我們的研究結(jié)果表明，TruffleHog 在檢測(cè)機(jī)密內(nèi)容基本上無(wú)效，因?yàn)樗乃惴ㄖ粰z測(cè)到我們的 Search 數(shù)據(jù)集中 25.236% 的秘密內(nèi)容和 BigQuery 數(shù)據(jù)集中 29.39% 的秘密內(nèi)容。”

　　GitHub 獲悉后忙于補(bǔ)救

　　北卡羅來(lái)納州立大學(xué)計(jì)算機(jī)科學(xué)系助理教授 Brad Reaves 今天接受 ZDNet 的采訪時(shí)表示，他們?cè)?2018 年將這項(xiàng)研究的結(jié)果告知了 GitHub。

　　Reaves 說(shuō)：“我們與 GitHub 討論了結(jié)果。對(duì)方啟動(dòng)了一個(gè)內(nèi)部項(xiàng)目，幾乎就在我們完成研究的同時(shí)，檢測(cè)并告知開(kāi)發(fā)人員泄露的秘密內(nèi)容。該項(xiàng)目于 2018 年 10 月公開(kāi)承認(rèn)。”

　　“我們被告知 GitHub 在監(jiān)測(cè)研究文檔中列出的秘密內(nèi)容之外的更多秘密內(nèi)容，但我們沒(méi)有獲得進(jìn)一步的細(xì)節(jié)。”

　　Reaves 補(bǔ)充道：“由于這種類型的泄露很普遍，我們很難通知所有受影響的開(kāi)發(fā)人員。我們面臨的諸多挑戰(zhàn)之一就是，我們根本無(wú)法獲得大批 GitHub 開(kāi)發(fā)人員的安全聯(lián)系信息。”

　　“在我們的論文發(fā)表時(shí)，我們?cè)噲D與 GitHub 合作以通知開(kāi)發(fā)人員，但考慮到我們的令牌掃描與 GitHub 的有重疊，他們覺(jué)得沒(méi)必要另外通知。”

　　API 密鑰泄露是已知問(wèn)題　　

　　開(kāi)發(fā)人員在眾多應(yīng)用程序和網(wǎng)站的源代碼中留下 API 和加密密鑰，這不是什么新問(wèn)題。亞馬遜已敦促互聯(lián)網(wǎng)開(kāi)發(fā)人員掃描代碼，從早至 2014 年的公共代碼庫(kù)中刪除任何 AWS 密鑰，甚至發(fā)布了一個(gè)工具來(lái)幫助他們向公共代碼庫(kù)提交任何代碼之前掃描代碼庫(kù)。

　　一些公司已主動(dòng)負(fù)起責(zé)任，掃描 GitHub 及其他代碼共享庫(kù)，查找無(wú)意中泄露的 API 密鑰，搶在 API 密鑰所有者注意到泄露或?yàn)E用之前撤銷令牌。

　　NCSU 開(kāi)展這項(xiàng)研究是為了最深入地研究這個(gè)問(wèn)題。

　　Reaves 稱：“研究結(jié)果表明，開(kāi)源軟件代碼庫(kù)中的登錄信息管理對(duì)于新手和專家來(lái)說(shuō)仍然具有挑戰(zhàn)性。”

　　Reaves 與 Michael Meli 和 Matthew R. McNiece 共同撰寫的這篇論文題為《Git 會(huì)有多糟糕？細(xì)述公共 GitHub 代碼庫(kù)中的秘密內(nèi)容泄露》