GenAI成功道路上的十個“坑”
想要實現(xiàn)生成式人工智能(GenAI)?是個好消息!大多數(shù)IT決策者都看到了這種變革性技術的潛力,您可以將自己視為其中之一。雖然GenAI有可能為業(yè)務增加顯著的效率,但它也帶來了一系列必須克服的挑戰(zhàn)。
以下是實施GenAI的十大挑戰(zhàn),按重要性降序排列。
1、錯誤數(shù)據(jù)
實施GenAI的最大挑戰(zhàn)是糟糕的數(shù)據(jù)。如果不能確認數(shù)據(jù)是正確的,它的來源迭代是精心規(guī)劃,并保證是安全可靠的,那么你在開始之前就已經落后了。
雖然我們似乎生活在一個全新時代,人工智能時代將使你最瘋狂的夢想成真!那句古老的格言“垃圾進,垃圾出”仍然是真理。
數(shù)據(jù)是GenAI的核心,數(shù)據(jù)管理則可能永遠是一個挑戰(zhàn)。但也有積極的發(fā)展,從15年前大數(shù)據(jù)熱潮的早期開始,公司就一直在努力理順他們的數(shù)據(jù)基礎,以便可以在此基礎上構建更大更好的東西。
在數(shù)據(jù)管理方面的投資現(xiàn)在正在為這些公司帶來回報,因為由于GenAI的數(shù)據(jù)質量優(yōu)于平均水平,這些公司處于有利地位,可以立即利用GenAI。
2、法律及合規(guī)事項
你可以合法地使用人工智能做什么,不能做什么,目前是一個有爭議的問題。新的法律法規(guī)正在制定,以限制組織使用人工智能的程度,因此,當涉及到人工智能的商業(yè)采用時,我們處于某種灰色地帶。
歐盟正堅定地朝著一項相當嚴格的法律邁進。這部被稱為《人工智能法案》(AI Act)的新法律可能會禁止最危險的人工智能形式,比如公共面部識別,并要求公司在使用其他侵入性較小但仍有潛在危害的用途時獲得批準,比如將人工智能用于招聘或大學錄取。
美國在監(jiān)管人工智能方面正在追趕歐盟同行,美國總統(tǒng)拜登去年10月簽署了一項行政命令,指示聯(lián)邦機構開始起草相關規(guī)定,但這些規(guī)定不具有法律效力。
這種法律上的模糊性引起了大公司的擔憂,它們不愿投入大筆資金來實施一項面向廣大外部領域的人工智能技術,因為這項技術可能在推出后不久就被取締或受到嚴格監(jiān)管。出于這個原因,許多人工智能應用都是針對內部用戶的。
3、算力不足
用戶不僅需要強大的GPU來訓練GenAI模型,還需要它們來進行推理。對高端英偉達GPU的巨大需求遠遠超過了供應。對于那些有足夠資金在云端購買或租用GPU的大公司以及英偉達的股東來說,這是件好事,但對于需要GPU時間來實施GenAI的中小型公司和初創(chuàng)公司來說,就不那么美好了。
GPU的“大排隊”不會很快緩解——當然包括在2024年上半年。雖然英偉達及其競爭對手正在努力開發(fā)新的芯片設計,以更有效地訓練和運行LLM(大語言模型),但設計并將其投入生產還需要時間。
許多公司不再運行LLM,而是轉向運行較小的語言模型,這些模型不像大型模型那樣需要龐大資源。也有人努力通過壓縮和量化來縮小LLM的大小。
4、透明度和可解釋性
透明度和可解釋性甚至在GenAI成為公司董事會討論話題之前就已經是問題了。就在五年前,公司還在努力思考如何處理深度學習(DL),這是機器學習(ML)的一個子集,它使用神經網絡技術從大量數(shù)據(jù)中找出模式。
在許多情況下,公司選擇基于更簡單的機器學習算法投入生產系統(tǒng),即使深度學習產生了更高的準確性,因為他們無法解釋深度學習系統(tǒng)是如何得到答案的。
支撐GenAI的大型語言模型(LLM)是神經網絡的一種形式,當然,是在龐大的數(shù)據(jù)語料庫上進行訓練的——在GPT-4的例子中,基本上是整個公共互聯(lián)網。
在解釋LLM如何得到答案時,這就構成了一個大問題。沒有直接的方法來應對這個挑戰(zhàn)。出現(xiàn)了一些方法,但它們有些復雜。這仍然是學術界、企業(yè)和政府研發(fā)部門積極研究和探索的領域。
5、準確性與幻覺
無論你的GenAI應用程序有多好,它都有可能編造一些東西,或者用該領域的術語來說就是“產生幻覺”。一些專家表示,任何人工智能在被要求生成或創(chuàng)造以前不存在的東西(比如一句話或一幅畫)時,產生幻覺都是正常的。
雖然專家表示,幻覺可能永遠不會被完全消除,但好消息是,幻覺率一直在下降。OpenAI早期版本的GPT錯誤率在20%左右?,F(xiàn)在這個數(shù)字估計在10%以下。
有一些技術可以減輕人工智能模型產生幻覺的傾向,比如通過交叉檢查一個人工智能模型與另一個人工智能模型的結果,這可以將幻覺率降至1%以下。減輕幻覺在很大程度上取決于實際用例,但這是AI開發(fā)人員必須牢記的事情。
6、缺乏AI技能
與任何新技術一樣,開發(fā)者需要一套新的技能來構建GenAI,它引入了許多開發(fā)人員必須熟悉的新技術。
比如,如何將現(xiàn)有的數(shù)據(jù)集連接到LLM中并從中獲得相關的答案,同時滿足不違反法規(guī)、道德、安全和隱私要求,需要一些技巧。一項薪酬調查顯示,提示工程師的出現(xiàn)速度如此之快,以至于其已成為IT行業(yè)薪酬最高的職業(yè),平均薪酬超過30萬美元。
然而,在某些方面,GenAI需要的高端數(shù)據(jù)科學技能比以前構建和實施人工智能應用程序要少,特別是在使用GPT-4等預構建的LLM時。在這些情況下,對Python有一定的了解就足夠了。
7、 安全及私隱
GenAI應用程序根據(jù)提示工作。如果沒有某種類型的輸入,就不會得到任何生成的輸出。在沒有任何控制的情況下,沒有什么可以阻止員工用敏感數(shù)據(jù)提示GenAI應用程序。
例如,去年6月發(fā)布的一份報告發(fā)現(xiàn),15%的員工定期將機密數(shù)據(jù)粘貼到ChatGPT中。包括三星、蘋果、埃森哲、美國銀行、摩根大通、花旗集團、諾斯魯普·格魯曼、威瑞森、高盛和富國銀行在內的許多大公司都禁止在公司內使用ChatGPT。
一旦數(shù)據(jù)進入LLM,用戶無法保證數(shù)據(jù)會從哪里出來。例如,OpenAI告訴用戶,它使用他們的對話來訓練它的模型。如果不希望數(shù)據(jù)最終出現(xiàn)在模型中,則需要購買企業(yè)許可證。網絡犯罪分子越來越善于從模型中竊取敏感數(shù)據(jù)。這就是為什么數(shù)據(jù)泄露在開放Web應用程序安全項目(OWASP)十大安全風險中占有一席之地的原因之一。
即使模型本身中的數(shù)據(jù)被鎖定,也存在其他漏洞。據(jù)一家名為私有網絡訪問(Private Internet Access)的VPN公司稱,通過IP地址、瀏覽器設置和瀏覽歷史,GenAI應用程序可能會在未經你同意的情況下收集你的其他信息,包括政治信仰或性取向。
8、倫理問題
在GenAI于2022年底爆發(fā)之前,人工智能倫理領域就已經在快速發(fā)展?,F(xiàn)在GenAI已經成為每個商人2024年劇本的核心,人工智能倫理的重要性已經大大增加。
許多公司都在努力解決一些與實施人工智能有關的更大問題,包括如何應對有偏見的機器學習模型,如何獲得同意,以及如何確保模型透明和公平。這些都不是微不足道的問題,這就是為什么道德仍然是一個巨大挑戰(zhàn)。
德勤一直是思考人工智能倫理的行業(yè)領導者之一,早在2020年就創(chuàng)建了值得信賴的人工智能框架,以幫助指導人工智能的倫理決策。該指南由德勤人工智能研究所(Deloitte AI Institute)執(zhí)行董事Beena Ammanath牽頭編寫,目前仍適用于GenAI。
9、 高成本
高管們必須注意GenAI所花的每一分錢。
根據(jù)開發(fā)GenAI應用程序的方式,成本可能是等式的重要組成部分。麥肯錫將GenAI成本分為三種類型。使用預構建的GenAI應用程序將花費50萬到200萬美元。根據(jù)特定用例對現(xiàn)有LLM進行微調的用戶投資金額將在200萬至1000萬美元之間。從頭開始構建基礎模型的制造商(如OpenAI)將花費500萬至2億美元。
更需要注意的是,GPU的成本只是訓練LLM一個開始。在許多情況下,在訓練有素的LLM上推理數(shù)據(jù)的硬件需求將超過訓練它的硬件需求。構建GenAI應用程序也有人為因素,比如需要耗時的數(shù)據(jù)標記,掌握技能所需要花費的人員培訓時間等等。
10. 缺乏效能承諾
當談到構建和部署人工智能解決方案時,許多高管都很興奮,但也有許多人并不那么興奮。安永(EY)最近對金融服務領域的科技領導者進行的一項調查發(fā)現(xiàn),36%的受訪者表示,缺乏領導層的明確支持是采用人工智能的最大障礙。
GenAI投資的潛在回報是巨大的,但也有需要注意的誤差。HFS Research最近的一項調查發(fā)現(xiàn),對于許多人來說,GenAI的投資回報率仍然不確定,特別是在快速變化的定價模式下。
隨著企業(yè)希望獲得競爭優(yōu)勢,GenAI的采用將在2024年激增。最終取得成功的公司將是那些克服這些前進障礙,并設法實施合法、安全、準確、有效且不會導致破產的GenAI應用程序的公司。