作者丨Dan Rowinski
編譯丨諾亞
出品 | 51CTO技術(shù)棧（微信號：blog51cto）
在過去的 20 年，創(chuàng)新為我們造就了眾多轉(zhuǎn)折點(diǎn)，于這些轉(zhuǎn)折點(diǎn)處，全新的職業(yè)類別得以應(yīng)運(yùn)而生。回想一下，2006 年亞馬遜網(wǎng)絡(luò)服務(wù)推出后，云端架構(gòu)師與開發(fā)者的職位便順勢出現(xiàn)；伴隨 iPhone 和 Android 的興起，移動開發(fā)者成為了嶄新的職業(yè)角色；當(dāng)我們積累了充足的數(shù)據(jù)和計算能力，足以讓神經(jīng)網(wǎng)絡(luò)運(yùn)行時，機(jī)器學(xué)習(xí)工程師這一職業(yè)就此產(chǎn)生；而后，上述三種趨勢相互交匯融合，數(shù)據(jù)科學(xué)家的職業(yè)開始引人注目。
這些新職業(yè)的誕生均是對新興技術(shù)的直接回應(yīng)，它們不但改變了工作的方式，還塑造了全新的行業(yè)標(biāo)準(zhǔn)與需求。每一輪的技術(shù)革命都會催生一批新的專家角色，他們憑借最新的技術(shù)去解決繁雜的問題，有力地推動了社會和經(jīng)濟(jì)的發(fā)展。
沿著這樣的演變軌跡，我們當(dāng)下或許已經(jīng)抵達(dá)了另一個轉(zhuǎn)折點(diǎn)：AI 工程師的興起。在過去幾年，AI 工程師日益流行，他們處在運(yùn)用大型語言模型及其相關(guān)工具來構(gòu)建生成式 AI 聊天機(jī)器人、Agent 以及其他能力的前沿位置。
隨著基礎(chǔ)模型和 AI 工程的逐漸成熟，一些趨勢開始顯露。我們與 SADA 公司的 Google Cloud 供應(yīng)商、人工智能和機(jī)器學(xué)習(xí)副首席技術(shù)官 Simon Margolis 進(jìn)行交流，以了解他們對于當(dāng)前 AI 工程領(lǐng)域的觀察以及后續(xù)可能出現(xiàn)的狀況。
“這取決于你在生成式AI總體采用曲線上的位置，”Margolis說?！坝行┤诉€在試水，而有些人則在ChatGPT風(fēng)靡全球之前就已經(jīng)在做生成式AI工作了。你在這條發(fā)展路徑上的位置，實(shí)際上深深影響著你所關(guān)注的核心趨勢。”
總體而言，Margolis在2024年中期為AI工程師指出了三大關(guān)鍵趨勢：
1）無代碼構(gòu)建AI Agent：即使不具備編程背景或?qū)I(yè)技能，如今也能輕松創(chuàng)建AI Agent，技術(shù)的門檻正被逐漸抹平。
2）傳統(tǒng)AI與生成式AI的融合：不再是單一領(lǐng)域的探索，而是將機(jī)器學(xué)習(xí)與生成式AI等不同AI“模態(tài)”巧妙結(jié)合，創(chuàng)造出更加強(qiáng)大且靈活的應(yīng)用場景。
3）AI自我迭代：利用生成式AI助力生成式AI Agent的構(gòu)建，這一循環(huán)增強(qiáng)的過程，使得AI的進(jìn)化更為高效與智能。
1.無需代碼構(gòu)建AI Agent
兩大生成式AI平臺——Google Cloud和OpenAI——都致力于讓AI工程師能夠更輕松地構(gòu)建AI Agent，而無需過多糾結(jié)于基礎(chǔ)模型或向量數(shù)據(jù)庫本身。兩者都引入了用于構(gòu)建Agent的工具，Google Cloud的Vertex AI中的Agent Builder，以及OpenAI的GPT系列。
"對于早期的嘗鮮者而言，最顯著的趨勢之一便是無需深厚技術(shù)功底就能打造生成式Agent，" Margolis提到。"以往，你得精通Transformer和RAG等技術(shù)細(xì)節(jié)，但現(xiàn)在，這種需求大大降低了?！?/p>
他強(qiáng)調(diào)，雖然仍有極客在手造Agent，但Agent Builder和GPTs已成為主流工具，廣泛應(yīng)用于實(shí)踐。
簡化技術(shù)要求，讓構(gòu)建Agent變得觸手可及，這不僅激發(fā)了創(chuàng)新，還賦予了一線業(yè)務(wù)人員自行搭建Agent的能力，減少了對專業(yè)開發(fā)者的依賴。
Margolis解釋說：“簡單來講，你從各種來源——可能是私有數(shù)據(jù)庫、互聯(lián)網(wǎng)或是兩者的結(jié)合——提取信息，然后利用這些數(shù)據(jù)指導(dǎo)AI工具或生成式助手的工作。”這與過去一兩年流行的LangChain模式相似，即通過不斷迭代提升輸出質(zhì)量，直至達(dá)到預(yù)期效果。不同的是，如今這個過程變得更加直觀易懂。
借助Agent Builder和GPTs這類工具，即便是非專業(yè)人士也能輕松上手，僅憑日常語言或直觀操作界面就能完成任務(wù)，使解決方案的實(shí)施變得更加直接有效。
2.融合傳統(tǒng)AI與生成式AI
結(jié)合不同AI“模態(tài)”的想法可能對AI工程師來說更具實(shí)際興趣。值得注意的是，當(dāng)Margolis談?wù)撃B(tài)時，他指的是我們可能認(rèn)為的“傳統(tǒng)”機(jī)器學(xué)習(xí)與新型基礎(chǔ)模型和生成式AI之間的區(qū)別。這不同于生成式AI內(nèi)部的模態(tài)概念，在那里輸入和輸出取決于媒介，如文本、音頻、視頻或翻譯。
當(dāng)Margolis提及“模態(tài)”時，他實(shí)際上是在區(qū)分傳統(tǒng)機(jī)器學(xué)習(xí)領(lǐng)域與新興的基礎(chǔ)模型及生成式AI技術(shù)之間的工作方式和特性。換句話說，“模態(tài)”指的是不同類型的AI處理方式或技術(shù)路徑。對于AI工程師而言，如何有效地結(jié)合這些不同的“模態(tài)”以創(chuàng)造更強(qiáng)大、多功能的AI系統(tǒng)是一項挑戰(zhàn)和機(jī)遇。
“以往人們要么在生成式AI領(lǐng)域工作，要么在圍繞推斷和預(yù)測的傳統(tǒng)機(jī)器學(xué)習(xí)世界里工作，但現(xiàn)在我們開始看到這兩個領(lǐng)域的融合。”
Margolis強(qiáng)調(diào)，生成式AI的運(yùn)用不必依賴于專門的AI代理或聊天機(jī)器人構(gòu)建。他舉例說明，在醫(yī)療保健領(lǐng)域，AI能以生成文本的方式整理和展現(xiàn)由醫(yī)護(hù)人員錄入的患者信息。隨后，集成有推理功能的AI工具會在同一系統(tǒng)內(nèi)分析這些信息，識別潛在的高風(fēng)險病例。
回顧過去，Margolis解釋道：“若要開發(fā)類似醫(yī)療案例的應(yīng)用，我得求助于懂模型搭建的ML專家同事，他們可能得用JAX或TensorFlow幫我打造預(yù)測模型，還得親自操作GPU硬件，整個過程牽涉繁重的ML工程和數(shù)據(jù)科學(xué)任務(wù)?！倍?，借助生成式AI，他可以直接將所需數(shù)據(jù)輸入到預(yù)訓(xùn)練模型中進(jìn)行處理，這一轉(zhuǎn)變要求截然不同的專業(yè)技能。
為了縮小傳統(tǒng)機(jī)器學(xué)習(xí)與生成式AI間的鴻溝，諸如Google Cloud的Vertex AI平臺之類的工具應(yīng)運(yùn)而生，SADA作為其優(yōu)選合作伙伴，正致力于此。Margolis指出：“現(xiàn)在，工程師可以利用Vertex輕松創(chuàng)建AutoML模型。雖然這不是完全無代碼的體驗，但大大減少了編碼需求。無需從頭構(gòu)建模型，無需編寫TensorFlow或JAX代碼，也無需管理GPU或底層系統(tǒng)架構(gòu)?！?/p>
這樣的進(jìn)步意味著工程師們可以更加專注于應(yīng)用層面的創(chuàng)新，而非被底層技術(shù)細(xì)節(jié)所束縛。
3.利用生成式AI來構(gòu)建更多的生成式AI
盡管我們離計算機(jī)自我組裝并自動編程的時代尚遠(yuǎn)，但AI工程界的一項引人注目的進(jìn)展是，生成式AI正在助力構(gòu)建更多同類型的AI實(shí)體、機(jī)器人以及應(yīng)用程序。這是一個循環(huán)促進(jìn)的過程，正如Margolis所說，它開啟了廣泛的參與機(jī)會。
“這確實(shí)是一個突破性的模式，讓更多人有機(jī)會投身其中，”Margolis評論道。
他將此現(xiàn)象與云計算領(lǐng)域近十至十五年來的重要轉(zhuǎn)折相提并論，尤其是2010年左右，開發(fā)者首次能夠在云中便捷地部署虛擬機(jī)；再到2014年前后，移動應(yīng)用的開發(fā)門檻顯著降低，使得更多人得以加入。
“這就像我們在公有云時代所見證的‘啊哈’時刻，”Margolis回憶道，“當(dāng)每個初學(xué)計算機(jī)科學(xué)或系統(tǒng)設(shè)計的學(xué)生，大約在2010年左右，都能獨(dú)立搭建服務(wù)器和數(shù)據(jù)庫時，那真是讓人振奮。對于想要涉足AI領(lǐng)域的新人，一年半前還面臨著一座難以逾越的高山。那時，你需要投入大量的時間和精力才能將你的構(gòu)想變?yōu)楝F(xiàn)實(shí)。而現(xiàn)在，我們已處于一個創(chuàng)意即實(shí)踐的階段，有時，你甚至能在一頓午餐的時間內(nèi)就完成一項初步作品?！?nbsp;
“如今，入行的障礙已被大幅削減，這對于所有人來說都是一大利好?！边@意味著，生成式AI技術(shù)的探索和應(yīng)用正變得越來越普及，為創(chuàng)新和實(shí)際應(yīng)用開辟了更廣闊的空間。
參考鏈接：https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/
