作者丨Dan Rowinski

編譯丨諾亞

在過(guò)去的 20 年，創(chuàng)新為我們?cè)炀土吮姸噢D(zhuǎn)折點(diǎn)，于這些轉(zhuǎn)折點(diǎn)處，全新的職業(yè)類別得以應(yīng)運(yùn)而生?；叵胍幌?，2006 年亞馬遜網(wǎng)絡(luò)服務(wù)推出后，云端架構(gòu)師與開(kāi)發(fā)者的職位便順勢(shì)出現(xiàn)；伴隨 iPhone 和 Android 的興起，移動(dòng)開(kāi)發(fā)者成為了嶄新的職業(yè)角色；當(dāng)我們積累了充足的數(shù)據(jù)和計(jì)算能力，足以讓神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)，機(jī)器學(xué)習(xí)工程師這一職業(yè)就此產(chǎn)生；而后，上述三種趨勢(shì)相互交匯融合，數(shù)據(jù)科學(xué)家的職業(yè)開(kāi)始引人注目。

這些新職業(yè)的誕生均是對(duì)新興技術(shù)的直接回應(yīng)，它們不但改變了工作的方式，還塑造了全新的行業(yè)標(biāo)準(zhǔn)與需求。每一輪的技術(shù)革命都會(huì)催生一批新的專家角色，他們憑借最新的技術(shù)去解決繁雜的問(wèn)題，有力地推動(dòng)了社會(huì)和經(jīng)濟(jì)的發(fā)展。

沿著這樣的演變軌跡，我們當(dāng)下或許已經(jīng)抵達(dá)了另一個(gè)轉(zhuǎn)折點(diǎn)：AI 工程師的興起。在過(guò)去幾年，AI 工程師日益流行，他們處在運(yùn)用大型語(yǔ)言模型及其相關(guān)工具來(lái)構(gòu)建生成式 AI 聊天機(jī)器人、Agent 以及其他能力的前沿位置。

隨著基礎(chǔ)模型和 AI 工程的逐漸成熟，一些趨勢(shì)開(kāi)始顯露。我們與 SADA 公司的 Google Cloud 供應(yīng)商、人工智能和機(jī)器學(xué)習(xí)副首席技術(shù)官 Simon Margolis 進(jìn)行交流，以了解他們對(duì)于當(dāng)前 AI 工程領(lǐng)域的觀察以及后續(xù)可能出現(xiàn)的狀況。

“這取決于你在生成式AI總體采用曲線上的位置，”Margolis說(shuō)。“有些人還在試水，而有些人則在ChatGPT風(fēng)靡全球之前就已經(jīng)在做生成式AI工作了。你在這條發(fā)展路徑上的位置，實(shí)際上深深影響著你所關(guān)注的核心趨勢(shì)?！?/p>

總體而言，Margolis在2024年中期為AI工程師指出了三大關(guān)鍵趨勢(shì)：

1）無(wú)代碼構(gòu)建AI Agent：即使不具備編程背景或?qū)I(yè)技能，如今也能輕松創(chuàng)建AI Agent，技術(shù)的門檻正被逐漸抹平。    

2）傳統(tǒng)AI與生成式AI的融合：不再是單一領(lǐng)域的探索，而是將機(jī)器學(xué)習(xí)與生成式AI等不同AI“模態(tài)”巧妙結(jié)合，創(chuàng)造出更加強(qiáng)大且靈活的應(yīng)用場(chǎng)景。

3）AI自我迭代：利用生成式AI助力生成式AI Agent的構(gòu)建，這一循環(huán)增強(qiáng)的過(guò)程，使得AI的進(jìn)化更為高效與智能。

1.無(wú)需代碼構(gòu)建AI Agent

兩大生成式AI平臺(tái)——Google Cloud和OpenAI——都致力于讓AI工程師能夠更輕松地構(gòu)建AI Agent，而無(wú)需過(guò)多糾結(jié)于基礎(chǔ)模型或向量數(shù)據(jù)庫(kù)本身。兩者都引入了用于構(gòu)建Agent的工具，Google Cloud的Vertex AI中的Agent Builder，以及OpenAI的GPT系列。

"對(duì)于早期的嘗鮮者而言，最顯著的趨勢(shì)之一便是無(wú)需深厚技術(shù)功底就能打造生成式Agent，" Margolis提到。"以往，你得精通Transformer和RAG等技術(shù)細(xì)節(jié)，但現(xiàn)在，這種需求大大降低了?！?/p>

他強(qiáng)調(diào)，雖然仍有極客在手造Agent，但Agent Builder和GPTs已成為主流工具，廣泛應(yīng)用于實(shí)踐。

簡(jiǎn)化技術(shù)要求，讓構(gòu)建Agent變得觸手可及，這不僅激發(fā)了創(chuàng)新，還賦予了一線業(yè)務(wù)人員自行搭建Agent的能力，減少了對(duì)專業(yè)開(kāi)發(fā)者的依賴。

Margolis解釋說(shuō)：“簡(jiǎn)單來(lái)講，你從各種來(lái)源——可能是私有數(shù)據(jù)庫(kù)、互聯(lián)網(wǎng)或是兩者的結(jié)合——提取信息，然后利用這些數(shù)據(jù)指導(dǎo)AI工具或生成式助手的工作?！边@與過(guò)去一兩年流行的LangChain模式相似，即通過(guò)不斷迭代提升輸出質(zhì)量，直至達(dá)到預(yù)期效果。不同的是，如今這個(gè)過(guò)程變得更加直觀易懂。

借助Agent Builder和GPTs這類工具，即便是非專業(yè)人士也能輕松上手，僅憑日常語(yǔ)言或直觀操作界面就能完成任務(wù)，使解決方案的實(shí)施變得更加直接有效。

2.融合傳統(tǒng)AI與生成式AI

結(jié)合不同AI“模態(tài)”的想法可能對(duì)AI工程師來(lái)說(shuō)更具實(shí)際興趣。值得注意的是，當(dāng)Margolis談?wù)撃B(tài)時(shí)，他指的是我們可能認(rèn)為的“傳統(tǒng)”機(jī)器學(xué)習(xí)與新型基礎(chǔ)模型和生成式AI之間的區(qū)別。這不同于生成式AI內(nèi)部的模態(tài)概念，在那里輸入和輸出取決于媒介，如文本、音頻、視頻或翻譯。

當(dāng)Margolis提及“模態(tài)”時(shí)，他實(shí)際上是在區(qū)分傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域與新興的基礎(chǔ)模型及生成式AI技術(shù)之間的工作方式和特性。換句話說(shuō)，“模態(tài)”指的是不同類型的AI處理方式或技術(shù)路徑。對(duì)于AI工程師而言，如何有效地結(jié)合這些不同的“模態(tài)”以創(chuàng)造更強(qiáng)大、多功能的AI系統(tǒng)是一項(xiàng)挑戰(zhàn)和機(jī)遇。   

“以往人們要么在生成式AI領(lǐng)域工作，要么在圍繞推斷和預(yù)測(cè)的傳統(tǒng)機(jī)器學(xué)習(xí)世界里工作，但現(xiàn)在我們開(kāi)始看到這兩個(gè)領(lǐng)域的融合。”

Margolis強(qiáng)調(diào)，生成式AI的運(yùn)用不必依賴于專門的AI代理或聊天機(jī)器人構(gòu)建。他舉例說(shuō)明，在醫(yī)療保健領(lǐng)域，AI能以生成文本的方式整理和展現(xiàn)由醫(yī)護(hù)人員錄入的患者信息。隨后，集成有推理功能的AI工具會(huì)在同一系統(tǒng)內(nèi)分析這些信息，識(shí)別潛在的高風(fēng)險(xiǎn)病例。

回顧過(guò)去，Margolis解釋道：“若要開(kāi)發(fā)類似醫(yī)療案例的應(yīng)用，我得求助于懂模型搭建的ML專家同事，他們可能得用JAX或TensorFlow幫我打造預(yù)測(cè)模型，還得親自操作GPU硬件，整個(gè)過(guò)程牽涉繁重的ML工程和數(shù)據(jù)科學(xué)任務(wù)?！倍?，借助生成式AI，他可以直接將所需數(shù)據(jù)輸入到預(yù)訓(xùn)練模型中進(jìn)行處理，這一轉(zhuǎn)變要求截然不同的專業(yè)技能。

為了縮小傳統(tǒng)機(jī)器學(xué)習(xí)與生成式AI間的鴻溝，諸如Google Cloud的Vertex AI平臺(tái)之類的工具應(yīng)運(yùn)而生，SADA作為其優(yōu)選合作伙伴，正致力于此。Margolis指出：“現(xiàn)在，工程師可以利用Vertex輕松創(chuàng)建AutoML模型。雖然這不是完全無(wú)代碼的體驗(yàn)，但大大減少了編碼需求。無(wú)需從頭構(gòu)建模型，無(wú)需編寫(xiě)TensorFlow或JAX代碼，也無(wú)需管理GPU或底層系統(tǒng)架構(gòu)。”

這樣的進(jìn)步意味著工程師們可以更加專注于應(yīng)用層面的創(chuàng)新，而非被底層技術(shù)細(xì)節(jié)所束縛。

3.利用生成式AI來(lái)構(gòu)建更多的生成式AI

盡管我們離計(jì)算機(jī)自我組裝并自動(dòng)編程的時(shí)代尚遠(yuǎn)，但AI工程界的一項(xiàng)引人注目的進(jìn)展是，生成式AI正在助力構(gòu)建更多同類型的AI實(shí)體、機(jī)器人以及應(yīng)用程序。這是一個(gè)循環(huán)促進(jìn)的過(guò)程，正如Margolis所說(shuō)，它開(kāi)啟了廣泛的參與機(jī)會(huì)。

“這確實(shí)是一個(gè)突破性的模式，讓更多人有機(jī)會(huì)投身其中，”Margolis評(píng)論道。

他將此現(xiàn)象與云計(jì)算領(lǐng)域近十至十五年來(lái)的重要轉(zhuǎn)折相提并論，尤其是2010年左右，開(kāi)發(fā)者首次能夠在云中便捷地部署虛擬機(jī)；再到2014年前后，移動(dòng)應(yīng)用的開(kāi)發(fā)門檻顯著降低，使得更多人得以加入。

“這就像我們?cè)诠性茣r(shí)代所見(jiàn)證的‘啊哈’時(shí)刻，”Margolis回憶道，“當(dāng)每個(gè)初學(xué)計(jì)算機(jī)科學(xué)或系統(tǒng)設(shè)計(jì)的學(xué)生，大約在2010年左右，都能獨(dú)立搭建服務(wù)器和數(shù)據(jù)庫(kù)時(shí)，那真是讓人振奮。對(duì)于想要涉足AI領(lǐng)域的新人，一年半前還面臨著一座難以逾越的高山。那時(shí)，你需要投入大量的時(shí)間和精力才能將你的構(gòu)想變?yōu)楝F(xiàn)實(shí)。而現(xiàn)在，我們已處于一個(gè)創(chuàng)意即實(shí)踐的階段，有時(shí)，你甚至能在一頓午餐的時(shí)間內(nèi)就完成一項(xiàng)初步作品。”   

“如今，入行的障礙已被大幅削減，這對(duì)于所有人來(lái)說(shuō)都是一大利好?！边@意味著，生成式AI技術(shù)的探索和應(yīng)用正變得越來(lái)越普及，為創(chuàng)新和實(shí)際應(yīng)用開(kāi)辟了更廣闊的空間。

參考鏈接：https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/ 

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：諾亞