如今絕對已經(jīng)進入到了AI時代了，或者更準確說應該是新AI時代，和上輪AI時代最大的不同的體現(xiàn)是從更多偏規(guī)則式的AI，進入到基于模型訓練讓AI自己總結提煉規(guī)則，從而真正智能化的新的AI時代，這個最好的體現(xiàn)其實是Tesla的自動駕駛（不是告訴AI規(guī)則，而是由AI來學習大量真實的視頻，自己提煉出開車的規(guī)則），每當進入新的技術時代，那必然是要先掌握要把這個新的技術用起來，技術棧怎么搭起來的問題，這篇文章就來講講AI時代的技術棧。

在講AI時代的技術棧之前，先來回顧下當前的兩個主要場景的技術棧，一個是在線型業(yè)務的技術棧，另一個是大數(shù)據(jù)場景的技術棧。

在線型業(yè)務的技術棧

在線型業(yè)務的技術棧通常是下面這樣的結構：

圖片

首先當然是硬件，在線業(yè)務型的場景下，計算資源基本是CPU為主；存儲資源則各種類型都有，主要是IO吞吐、時延、安全性等各種考慮；網(wǎng)絡資源公網(wǎng)、內(nèi)網(wǎng)類型，時延、吞吐考慮等。

在硬件之上，基本都會使用類似K8S，或商用VMWare之類，來更方便的使用硬件資源，這層軟件的核心一方面是抽象硬件資源，方便上層根據(jù)需求來使用硬件資源，以及同時根據(jù)需求來匹配找到合適的資源，例如最簡單的排他規(guī)則等等；另一方面則是充分的提升硬件資源的使用率，例如虛擬化技術、容器化技術的引入等。

再往上，通常就是根據(jù)業(yè)務系統(tǒng)的架構、建設需求做的各種中間件的選型，這些中間件最重要的是為了降低業(yè)務系統(tǒng)的門檻，把一些通用的技術問題解決掉，例如數(shù)據(jù)庫解決OLTP類型的數(shù)據(jù)讀寫、Dubbo之類的服務框架解決跨系統(tǒng)間的同步通信、RocketMQ之類的消息中間件解決跨系統(tǒng)間的異步通信等。

在這些中間件之上，通常就是業(yè)務系統(tǒng)本身了，這個就完全要根據(jù)業(yè)務需求來做相應的架構設計，并且通常都會需要跟隨業(yè)務的發(fā)展來不斷的迭代架構（中臺其實也是一種架構選擇，或者說其實是一種組織方式選擇，就不專門去寫了），例如常見的演進：從單體 --> 分布式 --> 異地多活，能看出的基本就是越來越復雜化，所以架構師們在這個地方其實要做好權衡，這是架構師最難的地方，之前我在阿里的老同事，擔任過好幾家公司的CTO，現(xiàn)在在韓國電商Coupang任職副總裁的郭東白，寫了一本《架構思維：從程序員到CTO》的書，值得看看，會很有幫助，我自己覺得作為程序員，無論未來想在技術領域深耕，還是想往管理方向走，架構思維都是必須掌握的。

大數(shù)據(jù)場景的技術棧

大數(shù)據(jù)場景的技術棧通常是下面這樣的結構：

圖片

資源這種就不再重復，和在線型類似，但也不同就是，所以到今天為止，仍然是以Yarn為主。

在計算引擎和相應的數(shù)據(jù)庫側，主要是取決于離線還是實時，這個分別有不同的場景的訴求。

在那之上，大數(shù)據(jù)的場景比較特殊的一個地方是通常需要面向數(shù)據(jù)分析師等角色使用，這個需要一個工作平臺，像阿里云的dataworks之類的。

再往上通常就是實際的基于各種數(shù)據(jù)場景實現(xiàn)的業(yè)務，這層通常就會和在線業(yè)務的技術?；疽粯?。

AI時代的技術棧

看上面在線業(yè)務、大數(shù)據(jù)的技術棧，可以看到會有一些相同的地方，也會有很多不同的地方，這個就是之所以會誕生這么多技術類公司的原因，基本上不太可能一家通吃，因為其實在不同的場景還是會有很大的差異性，而很難有公司有所有類型的人才積累，以及公司的戰(zhàn)略選擇上也會比較復雜，當然，也是因為在不同的技術時代、場景，產(chǎn)生了不同的技術棧的訴求，才使得有了更多創(chuàng)新、創(chuàng)業(yè)的機會，AI時代呢，尤其是現(xiàn)在的新的AI時代，計算資源從CPU走向了GPU，這個就產(chǎn)生了更多的新的機會，AI時代，萬象更新，技術棧其實也同樣如此。

圖片

AI時代最大的變化當然是計算資源從CPU走向了GPU為主，而就此英偉達也就一路飆升了，畢竟GPU的量的訴求是可以非常確定性的比CPU更大。

而在GPU資源之上，怎么管理好GPU卡，去調(diào)度好GPU的池子，做好GPU的虛擬化等，提升整個GPU池的效率，我們公司的Sky AIComputing就是來解決這個問題的，甚至我們還能利用多云的資源（等云資源在GPU的供應進入正常的狀況后這個會更有優(yōu)勢）來更好的滿足AI不同的訴求，例如速度的訴求、成本的訴求。

在資源之上，也看到了在AI時代里，計算引擎、數(shù)據(jù)庫這些也都相應的產(chǎn)生了變化，Ray、Milvus是現(xiàn)在這個場景里非常顯著的技術棧產(chǎn)品。

再往上，當然就是至關重要的大模型，以及各種垂直行業(yè)的小模型，通用的大模型我覺得基本就是面向C端的，垂直行業(yè)的小模型是面向B端的。

類似大數(shù)據(jù)是非常依賴數(shù)據(jù)分析師的，AI非常依賴算法工程師，一個給算法工程師易用的工作平臺是很重要的，這個是MLOps這層要解決的核心問題。

再往上則是各種AI應用，這個就基本再次回到在線業(yè)務的技術棧，當然不太相同的是這些AI應用可能更多的就是直接依賴下面模型的推理就可以了，其他的會簡單很多，但在C端場景該解決的用戶量的伸縮問題、穩(wěn)定性問題等，還是不變的。

可以看到的是，AI時代由于還在爆發(fā)的早期階段，技術棧的成熟度相比在線業(yè)務、大數(shù)據(jù)還是有明顯的差距的，但同時也是機會，以及有各種的可能性。

最后，很想問個問題：

現(xiàn)在大家在實際的業(yè)務中準備用AI來改造的主要是什么樣的場景呢？例如智能客服的升級、電商場景中商品圖片、文案、視頻等的智能化生產(chǎn)等？