SSD與HDD各有優(yōu)勢!從應用場景出發(fā)選擇合適的數(shù)據(jù)存儲產(chǎn)品
原創(chuàng)當前,人工智能已經(jīng)成為推動企業(yè)創(chuàng)新和可持續(xù)發(fā)展的核心驅(qū)動力。隨著生成式AI時代的到來,各種大模型應用層出不窮,人們在關注算力和算法的同時,構建先進的數(shù)據(jù)存儲系統(tǒng),滿足海量數(shù)據(jù)交互、存儲和數(shù)據(jù)安全要求,提升生成式AI的效率、準確性和可靠性,也成為大部分企業(yè)關注的焦點。
一、AI時代,數(shù)據(jù)存儲為何變得如此重要?
眾所周知,數(shù)據(jù)作為AI的基礎燃料,在AI的全生命周期內(nèi)發(fā)揮著重要作用。生成式AI作為人工智能的一個重要分支,專注于創(chuàng)造全新內(nèi)容,如文本、圖像、音頻和視頻等,這要求存儲系統(tǒng)具備高效、大容量、高性能以及安全可靠等特性,而先進的數(shù)據(jù)存儲系統(tǒng)正是滿足這些需求的關鍵。
根據(jù)IDC的調(diào)研結果,預計到2028年,全球?qū)a(chǎn)出394ZB的數(shù)據(jù),其中AIGC領域的數(shù)據(jù)產(chǎn)出尤為突出,屆時,AI圖像和視頻生成將增長167倍。為此,構建高性能、大容量、高可靠和高安全、靈活擴展的先進數(shù)據(jù)存儲系統(tǒng),就顯得尤其重要。
首先,生成式AI技術依賴于深度學習和神經(jīng)網(wǎng)絡等機器學習算法,這些算法需要從大量數(shù)據(jù)中提取特征、學習規(guī)律,并據(jù)此生成新的數(shù)據(jù)。因此,一個高效、大容量的存儲系統(tǒng)對于生成式AI的訓練和推理至關重要。先進的數(shù)據(jù)存儲系統(tǒng)不僅能夠提供足夠的存儲空間,還能夠確保數(shù)據(jù)的高速讀寫,從而提高生成式AI的效率和準確性。
其次,生成式AI的應用場景廣泛,包括自動駕駛、精準醫(yī)療、藥物研發(fā)等關鍵領域,這些領域?qū)Υ鎯ο到y(tǒng)的可靠性和穩(wěn)定性要求極高。先進的數(shù)據(jù)存儲系統(tǒng)往往采用SSD等半導體介質(zhì)和高效的數(shù)據(jù)中心架構,能夠確保存儲系統(tǒng)的穩(wěn)定運行,減少數(shù)據(jù)丟失和損壞的風險,為生成式AI的應用提供有力的保障。
最后,先進的數(shù)據(jù)存儲系統(tǒng)還具備“開放生態(tài)、綠色低碳、安全可靠”等關鍵特性。開放生態(tài)意味著存儲系統(tǒng)能夠支持與多云、容器的對接,實現(xiàn)數(shù)據(jù)共享和數(shù)據(jù)流動,這對于生成式AI在跨平臺、跨領域的應用具有重要意義,能夠更好地推動生成式AI技術的不斷創(chuàng)新和發(fā)展,為AI技術的廣泛應用提供有力支撐。
綜上所述,先進的數(shù)據(jù)存儲系統(tǒng)在生成式AI時代發(fā)揮著至關重要的作用,是提升生成式AI效率、準確性和可靠性的關鍵保障。隨著生成式AI技術的不斷發(fā)展和應用領域的不斷拓展,先進的數(shù)據(jù)存儲系統(tǒng)的重要性將日益凸顯。
二、根據(jù)不同應用選擇合適的存儲系統(tǒng)
談到生成式AI時代的存儲,大部分人都會率先想到全閃存存儲(SSD)。的確,相比較機械硬盤(HDD),SSD在性能、功耗等方面擁有明顯的優(yōu)勢。不過,與SSD相比,HDD在大容量、經(jīng)濟性、可靠性與穩(wěn)定性等方面也更具優(yōu)勢。因此,我們要根據(jù)不同的應用場景,選擇適合的存儲產(chǎn)品。
例如在AI訓練和推理場景下,SSD優(yōu)勢更加明顯。由于AI訓練需要處理大量數(shù)據(jù),并需要快速讀取和寫入數(shù)據(jù)。因此,SSD的高讀寫速度使其成為AI訓練的理想選擇。同樣,在推理階段,由于實時AI應用對存儲系統(tǒng)的響應速度要求極高,因此采用SSD的低延遲的存儲解決方案能夠顯著提高處理速度和應用響應時間。
不過,在推理階段我們還需要關注數(shù)據(jù)的長期保存和可用性的問題。在實際應用過程中,歸檔存儲是一種常用的方法,它可以將訓練階段產(chǎn)生的各種人工制品(如訓練數(shù)據(jù)集、模型參數(shù)等)與原始數(shù)據(jù)一起存儲起來以備后用。這要求存儲系統(tǒng)具備長期保存數(shù)據(jù)的能力,并保持數(shù)據(jù)的完整性和可訪問性。因此,在這種場景應用下,HDD所具備的大容量、低成本和可靠性等優(yōu)勢,則更具有優(yōu)勢。
除此之外,在一些邊緣應用場景下,例如視頻監(jiān)控需要長時間不間斷地錄制視頻數(shù)據(jù),并需要存儲大量歷史數(shù)據(jù)。因此,HDD的大容量和成本效益使其成為視頻監(jiān)控的理想選擇。
因此,在選擇SSD與HDD時,需要根據(jù)具體的應用需求進行權衡。對于需要高讀寫速度的應用,SSD是更好的選擇;而對于需要大容量存儲或成本效益更高的應用,HDD則是更合適的選擇。
三、SSD與HDD主流技術介紹
1)SSD主流技術
閃存在發(fā)展過程中,經(jīng)歷了從SLC、MLC,再到目前的TLC、QLC的轉(zhuǎn)變。目前,采用3D NAND技術的QLC顆粒是目前SSD的主流技術路線。
3D NAND技術是通過在硅襯底上垂直堆疊多個存儲層,每個存儲層包含大量的存儲單元,來提高存儲密度。同時,每層的存儲單元通過復雜的電路連接,實現(xiàn)數(shù)據(jù)的讀寫操作。當前,SK海力士、三星、長江存儲、美光均采用了3D NAND技術。在層數(shù)方面,200層以上的QLC已經(jīng)成為目前的主流,不但容量有了很大的突破,而且價格也越來越低。
近期,SK海力士對外正式宣布開始量產(chǎn)全球首款321層1TB TLC 4D NAND閃存的消息。從公布的數(shù)據(jù)來看,與上一代采用238層3D NAND閃存技術的產(chǎn)品相比,321層NAND閃存的數(shù)據(jù)傳輸速度和讀取性能分別提高了12%和13%,數(shù)據(jù)讀取能效也提高了10%以上。
2)HDD主流技術
HDD的主流技術以希捷的Mozaic 3+和西部數(shù)據(jù)的OptiNAND為代表。
希捷Mozaic 3+(魔彩盒3+)平臺集成了希捷科技最新的超晶格鉑合金介質(zhì)、等離子寫入器、第7代自旋電子讀取器、12nm集成控制器等眾多先進的技術,單碟片面密度達到了前所未有的3TB+,并在未來幾年內(nèi)將實現(xiàn)單碟4TB+和5TB+的發(fā)展路線圖。
除了單碟容量的提升之外,為了滿足AI對于存儲性能的需求,希望還首創(chuàng)了MACH.2 多磁臂硬盤技術,包含兩個獨立傳動器,可同時傳輸數(shù)據(jù)。MACH.2 通過實現(xiàn)數(shù)據(jù)流并行進出單個硬盤,滿足了性能提升需求。MACH.2 確保數(shù)據(jù)中心主機可同時并行請求和接收來自硬盤兩個區(qū)域的數(shù)據(jù),將每個硬盤的 IOPS 性能提高了一倍。借助 MACH.2 技術,超大型規(guī)模數(shù)據(jù)中心無需犧牲容量或總體擁有成本 (TCO),即可獲得大幅效能提升。
與希捷相比,西部數(shù)據(jù)通過創(chuàng)新的OptiNAND技術、能量輔助磁記錄(ePMR)、三階尋軌定位系統(tǒng)(TSA)、氦氣封裝(HelioSeal)以及全新的UltraSMR技術,不斷提高硬盤的容量。同時,由于在面密度技術上的獨特優(yōu)勢,西部數(shù)據(jù)能夠更好地幫助客戶獲得更低的每TB容量功耗,幫助數(shù)據(jù)中心客戶提高PUE(電源使用效率)。
寫在最后:
雖然AI對存儲性能要求更高,但SSD并不會快速取代HDD。因此,我們在選擇SSD與HDD時,需要根據(jù)具體的應用需求進行權衡。對于需要高讀寫速度的應用,SSD是更好的選擇;而對于需要大容量存儲或成本效益更高的應用,HDD則是更合適的選擇。