人工智能(AI)、車(chē)用芯片的復(fù)雜程度逐步遞增，邊緣處理比重也在增加，存儲(chǔ)的選擇、設(shè)計(jì)、使用模式及配置將會(huì)面臨更大的挑戰(zhàn)。因此，為了滿(mǎn)足AI和機(jī)器學(xué)習(xí)應(yīng)用程序的需要，位置(Location)越來(lái)越多地應(yīng)用于數(shù)據(jù)需要駐留的地方和存儲(chǔ)數(shù)據(jù)的內(nèi)存。

在芯片、元件和系統(tǒng)之間移動(dòng)以及處理優(yōu)先處理順序不明確的情況下，設(shè)計(jì)團(tuán)隊(duì)只能在合并和共享存儲(chǔ)之間取得平衡以降低成本，或增加更多不同類(lèi)型的存儲(chǔ)來(lái)提升效能、降低功耗。

但這個(gè)問(wèn)題不僅僅是內(nèi)存供應(yīng)商面臨的挑戰(zhàn);其他AI利益相關(guān)者也在發(fā)揮作用，解決方案最關(guān)鍵的一部分是內(nèi)存互聯(lián)，即內(nèi)存離計(jì)算越來(lái)越近。在人工智能硬件峰會(huì)內(nèi)存互聯(lián)的挑戰(zhàn)和解決方案圓桌討論上Rambus研究員Steve Woo表示：“我們都在人工智能的不同方面工作。”

從目前來(lái)看，內(nèi)建SRAM和DRAM存儲(chǔ)仍是當(dāng)前主推技術(shù)。DRAM密度高、使用電容儲(chǔ)存結(jié)構(gòu)相對(duì)簡(jiǎn)單，又具有低延遲、高效能和接近無(wú)限次存取的耐用度，功耗也比較低。SRAM速度非常快，但較為昂貴且密度有限。這些不同的需求會(huì)影響存儲(chǔ)的類(lèi)型、數(shù)量以及內(nèi)建或外接存儲(chǔ)的選擇。

Marvell ASIC業(yè)務(wù)部門(mén)的CTO Igor Arsovski在SRAM方面有著豐富的經(jīng)驗(yàn)，他表示，用啤酒來(lái)比喻內(nèi)存互連并不壞。 “SRAM就好比一瓶啤酒。它很容易使用，使用它的能耗很低，它只提供你所需的。“但如果內(nèi)存不夠，你就會(huì)走得更遠(yuǎn)，而且需要消耗更多的能量，就像需要走得更遠(yuǎn)才能買(mǎi)到啤酒一樣。”

HBM vs LPDDR

外接存儲(chǔ)的競(jìng)賽，基本上以DRAM-GDDR和HBM為主。從工程和制造角度來(lái)看，GDDR比較像DDR和LPDDR等其他類(lèi)型的DRAM，可以放在一個(gè)標(biāo)準(zhǔn)的印刷電路板上并使用類(lèi)似的制程。

HBM是比較新的技術(shù)，牽涉到堆疊和矽中介層，每個(gè)HBM堆疊都有上千個(gè)連接，因此需要高密度的互連，這遠(yuǎn)遠(yuǎn)超過(guò)PCB的處理能力。HBM追求最高效能和優(yōu)質(zhì)的電源效率，但成本更高，需要更多的工程時(shí)間和技術(shù)。GDDR的互連沒(méi)這么多，但會(huì)影響訊號(hào)的完整性。

Arsovski表示，在內(nèi)存方面，高帶寬內(nèi)存(HBM) 正在被越來(lái)越多的人工智能采用。

“它會(huì)花費(fèi)你60倍多的能量來(lái)訪(fǎng)問(wèn)內(nèi)存。那里的容量要大得多，但訪(fǎng)問(wèn)它的帶寬也顯著減少了。啤酒的類(lèi)比可以擴(kuò)展到LPDDR(DDR SDRAM的一種)等技術(shù)，它超過(guò)了SRAM。“LPDDR功率要高得多，但你可以裝更多的容量。”“這就像沿路走到你最喜歡的酒吧。”

Arsovski預(yù)計(jì)，下一代加速器的發(fā)展方向是將這些小桶放在加速器的正上方，通過(guò)計(jì)算將內(nèi)存壓縮到更近的位置。MLCommons是一個(gè)提供機(jī)器學(xué)習(xí)標(biāo)準(zhǔn)和推理基準(zhǔn)的組織，其成員包括學(xué)術(shù)界和工業(yè)界。MLCommons的執(zhí)行董事David Kanter介紹：“這讓我們對(duì)不同的工作量有了一個(gè)非常廣泛的了解。我們開(kāi)始改變這個(gè)組織的一件事是，讓它專(zhuān)注于一點(diǎn)，那就是建立顧問(wèn)團(tuán)，引入特定應(yīng)用領(lǐng)域的一些深度專(zhuān)業(yè)知識(shí)。” MLCommons還將為培訓(xùn)人工智能模型的任何人編制大型公共數(shù)據(jù)集，并計(jì)劃擴(kuò)大服務(wù)范圍，吸引其他專(zhuān)家加入。

當(dāng)談到內(nèi)存時(shí)，Kanter介紹，整個(gè)系統(tǒng)上下文很重要。“你必須思考你想做什么與系統(tǒng)。”芯片、封裝和電路板都是必須考慮的元素。對(duì)于存儲(chǔ)被放置和連接的地方，有很多不同的角落，你可以?xún)?yōu)化的陣列結(jié)構(gòu)，單元類(lèi)型，以及距離。”

Kanter：“了解哪里需要帶寬和非揮發(fā)性也是關(guān)鍵的考慮，這會(huì)引導(dǎo)你做出正確的選擇。”

對(duì)于那些傳統(tǒng)上不參與整個(gè)內(nèi)存系統(tǒng)構(gòu)建過(guò)程的公司來(lái)說(shuō)，這些考慮相當(dāng)重要。谷歌軟件工程師Sameer Kumar長(zhǎng)時(shí)間研究編譯器和可伸縮系統(tǒng)，他認(rèn)為其中網(wǎng)絡(luò)和內(nèi)存帶寬對(duì)于不同的機(jī)器學(xué)習(xí)模型至關(guān)重要，包括大規(guī)模批量學(xué)習(xí)的能力。“人工智能訓(xùn)練涉及到大量的記憶優(yōu)化，這是編譯器獲得高效率最關(guān)鍵的一步，這意味著記憶需要更智能。“

由于數(shù)據(jù)移動(dòng)開(kāi)始主導(dǎo)人工智能應(yīng)用的某些階段，由此看來(lái)內(nèi)存互聯(lián)變得越來(lái)越重要。Woo：“在性能和功效方面，這是一個(gè)日益嚴(yán)重的問(wèn)題。提高數(shù)據(jù)傳輸速率有些難，因?yàn)槊總€(gè)人都希望保持?jǐn)?shù)據(jù)傳輸速度翻倍和能源效率翻倍。“我們所依賴(lài)的許多技術(shù)對(duì)我們來(lái)說(shuō)已經(jīng)不存在了，或者正在放慢速度。我們有機(jī)會(huì)來(lái)思考新的架構(gòu)和創(chuàng)新我們移動(dòng)數(shù)據(jù)的方式。”

Woo：這不僅包括存儲(chǔ)設(shè)備本身的創(chuàng)新，還包括封裝和新技術(shù)的創(chuàng)新，如堆疊，同時(shí)還要確保mind data安全，美國(guó)內(nèi)存技術(shù)公司Rambus認(rèn)為這一點(diǎn)越來(lái)越受到關(guān)注。

Rambus已經(jīng)在關(guān)注3D堆疊，但是如果帶寬沒(méi)有隨著堆疊容量的增加而增加，可用性就會(huì)受到限制。

Arsovski表示，Marvell正花大量時(shí)間與客戶(hù)一起構(gòu)建人工智能系統(tǒng)，為他們提供每個(gè)芯片邊緣可移動(dòng)的帶寬以及可訪(fǎng)問(wèn)內(nèi)存的帶寬信息。“目前我們所看到的是，客戶(hù)需要更多的內(nèi)存帶寬和I/O帶寬。”“如果你看看封裝層面是如何大規(guī)?；ミB的，就會(huì)發(fā)現(xiàn)有一個(gè)巨大的不匹配。我們現(xiàn)在已經(jīng)遇到了瓶頸，為此我們?cè)诓粩嗤七M(jìn)高端芯片間的連接。”

從內(nèi)存的角度來(lái)看，對(duì)于那些無(wú)法裝在芯片上的人工智能模型來(lái)說(shuō)，下一步是HBM或GDDR，但也有很多人傾向3D堆疊，因?yàn)槟阒荒茉谛酒弦苿?dòng)這么多帶寬。“客戶(hù)想要越來(lái)越多的I/O帶寬，但我們能在邊緣端能移動(dòng)多少?”

Kanter表示，即使在機(jī)器學(xué)習(xí)的世界里，也存在著“巨大的多樣性”，這導(dǎo)致了生態(tài)系統(tǒng)的限制和變化。對(duì)于常規(guī)DRAM來(lái)說(shuō)，對(duì)一個(gè)難以置信的大數(shù)據(jù)結(jié)構(gòu)進(jìn)行隨機(jī)查找并不適合單個(gè)節(jié)點(diǎn)，這意味著如果你想在內(nèi)存中保存它，就需要構(gòu)建一個(gè)大集群系統(tǒng)。“這與傳統(tǒng)的視覺(jué)導(dǎo)向模式有著非常不同的特點(diǎn)和特性。在內(nèi)存方面記住這種多樣性是非常重要的。”

當(dāng)需要將大量?jī)?nèi)存和計(jì)算整合在一起時(shí)，互聯(lián)就出現(xiàn)了，互聯(lián)互通對(duì)那些巨頭公司來(lái)說(shuō)尤其重要。“如果你只想在一個(gè)小網(wǎng)絡(luò)中訓(xùn)練一個(gè)GPU，那么關(guān)鍵的維度可能是內(nèi)存帶寬。”

Kumar表示，更多的內(nèi)存帶寬可以實(shí)現(xiàn)不同類(lèi)型的優(yōu)化，但如果一個(gè)模型特別受內(nèi)存限制，那么它可能會(huì)帶來(lái)更多的計(jì)算。“如果你有更多可用的內(nèi)存吞吐量，或者甚至更多可用的互連吞吐量，它可能會(huì)使模型設(shè)計(jì)更加靈活，啟用新功能，并構(gòu)建不同類(lèi)型的模型。”

Woo：Rambus對(duì) 3D疊加很感興趣，但挑戰(zhàn)是，當(dāng)你上升到更高的層次時(shí)，保持不斷增加的帶寬來(lái)在堆棧中上下移動(dòng)就變得更加困難。“雖然你最終增加了堆棧的容量，但如果你沒(méi)有相應(yīng)的帶寬增長(zhǎng)，那么這個(gè)解決方案能有多大用處。”

他介紹，“The Holy Grail”是一種既能保持填充頻率的同時(shí)又能提高堆疊形式因數(shù)功效的方法，它使帶寬、容量和堆疊的比率相對(duì)恒定。

Kumar和Arsovski都認(rèn)為需要建立一個(gè)平衡的、可伸縮的系統(tǒng)和設(shè)計(jì)良好的軟件堆棧。Arsovski:“我們描述的是一種類(lèi)似人類(lèi)大腦的結(jié)構(gòu)，它的伸縮性很好。”它必須是低能耗的，同時(shí)具備大量的連接能力，目前，我們最接近它的方式是通過(guò)3D疊加，但仍存在功耗、封裝和機(jī)械方面的挑戰(zhàn)。“我們需要找出一個(gè)平行的系統(tǒng)，在每一層都使用非常低的功率，這樣你就不用擔(dān)心數(shù)千瓦的功率需要冷卻了。”

功耗問(wèn)題依然難以攻克

功耗也是存儲(chǔ)的關(guān)鍵問(wèn)題，不同存儲(chǔ)類(lèi)型和配置也會(huì)影響功耗。例如在7nm制程的存儲(chǔ)上移動(dòng)資料因?qū)Ь€(xiàn)的RC延遲，需要更高的功率，并可能產(chǎn)生熱能，破壞訊號(hào)的完整性。

存儲(chǔ)對(duì)AI很重要，AI又是所有新技術(shù)的主角。但不只有AI芯片，還有芯片內(nèi)部的AI應(yīng)用，都會(huì)影響存儲(chǔ)的使用方式。如要實(shí)現(xiàn)超快的速度和最低功耗，最好的辦法就是把所有元件放在同一個(gè)芯片上，但有時(shí)會(huì)受到空間的限制。

這也說(shuō)明了，為什么資料中心和訓(xùn)練應(yīng)用AI芯片的體積比許多部署在終端設(shè)備執(zhí)行推論應(yīng)用的其他類(lèi)型芯片更大。另一種方法則是將部分存儲(chǔ)移到芯片外，并透過(guò)設(shè)計(jì)提高傳輸量及縮短與存儲(chǔ)的距離，或是限制外接存儲(chǔ)的資料流。

Mentor IP部門(mén)總監(jiān)Farzad Zarrinfar表示，功率、效能和面積(PPA)都很重要，但主要還是和應(yīng)用有關(guān)。以攜帶型的應(yīng)用為例，功率非常重要，而功率也分為動(dòng)態(tài)和靜態(tài)兩部分，如果需要大量運(yùn)算，那么動(dòng)態(tài)功率就非常重要;如果是穿戴式設(shè)計(jì)，則更重視靜態(tài)/漏電功率。電動(dòng)車(chē)在意電池的續(xù)航力，因此功耗也是關(guān)鍵因素。

現(xiàn)在是時(shí)候開(kāi)始研究人工智能系統(tǒng)的下一個(gè)基礎(chǔ)模塊了。“我們一直在研究晶體管，到目前為止，它們做得很好。但我們幾乎需要從頭開(kāi)始重新思考這個(gè)設(shè)備。”

盡管有大量革命性的技術(shù)和創(chuàng)新架構(gòu)，存儲(chǔ)仍是所有設(shè)計(jì)的核心。如何決定現(xiàn)有存儲(chǔ)的優(yōu)先順序、共享、位置以及用途，獲得優(yōu)質(zhì)系統(tǒng)效能依舊是件知易行難的事。