譯者 | 張怡

審校 | 梁策 孫淑娟

就像國(guó)際汽車(chē)工程師學(xué)會(huì)(SAE)對(duì)自動(dòng)駕駛汽車(chē)分級(jí)一樣，為了預(yù)測(cè)人工智能系統(tǒng)的成本，給它們分個(gè)“級(jí)別”想必也是不錯(cuò)的選擇。采用分級(jí)系統(tǒng)可以幫助組織計(jì)劃和準(zhǔn)備AI系統(tǒng)，且隨著時(shí)間的推移，AI系統(tǒng)的復(fù)雜性也會(huì)不斷增加。

Photo by Hitesh Choudhary on Unsplash

設(shè)計(jì)和構(gòu)建人工智能系統(tǒng)不是件容易事。傳統(tǒng)軟件的大部分成本都在部署前的開(kāi)發(fā)過(guò)程中，而AI系統(tǒng)的大部分成本都在部署后。人工智能系統(tǒng)的行為不斷學(xué)習(xí)，且很可能會(huì)從最初的部署中改變。如果不持續(xù)投資數(shù)據(jù)和進(jìn)行參數(shù)調(diào)整，機(jī)器學(xué)習(xí)模型會(huì)隨著時(shí)間的推移而“退化”。設(shè)計(jì)決策直接影響人工智能系統(tǒng)的擴(kuò)展能力，其難點(diǎn)就是理解AI系統(tǒng)如何隨著時(shí)間的推移而發(fā)生變化。

在構(gòu)建AI系統(tǒng)時(shí)，分級(jí)可以為不同AI系統(tǒng)的行為提供參考。進(jìn)行分級(jí)并根據(jù)級(jí)別進(jìn)行權(quán)衡可以幫助簡(jiǎn)化部署后的差異。

理解系統(tǒng)可能會(huì)發(fā)生何種行為變化，并將其納入系統(tǒng)設(shè)計(jì)中是非常重要的。以下的分級(jí)框架概述了各級(jí)系統(tǒng)隨時(shí)間變化的主要差異，我們可以在設(shè)計(jì)和操作系統(tǒng)時(shí)對(duì)這些差異加以利用。不同的系統(tǒng)可以處于不同的級(jí)別，而對(duì)其差異有一個(gè)整體的認(rèn)知可以幫助組織更好的規(guī)劃和執(zhí)行。

系統(tǒng)的復(fù)雜性可以由其輸入(a)、輸出(b)和目標(biāo)(c)的范圍來(lái)定義。

AI級(jí)別

一般來(lái)說(shuō)，隨著級(jí)別的上升，成本也會(huì)增加。比如我們?cè)O(shè)想將一個(gè)運(yùn)行在1級(jí)的系統(tǒng)提升到2級(jí)，但是系統(tǒng)構(gòu)建的復(fù)雜性和成本也會(huì)隨著級(jí)別的上升而增加。顯然，我們的新功能應(yīng)該先從一個(gè)系統(tǒng)行為容易理解的“低”級(jí)別開(kāi)始，再逐漸增加級(jí)別——隨著級(jí)別的增加，系統(tǒng)的失敗案例變得越難理解。

隨著我們從傳統(tǒng)軟件(0級(jí))升級(jí)到完全智能軟件(4級(jí))，不同級(jí)別的AI系統(tǒng)差異明顯，極大地影響了系統(tǒng)成本。級(jí)別4的系統(tǒng)基本上可以自行維護(hù)和改進(jìn)，無(wú)需內(nèi)部開(kāi)發(fā)團(tuán)隊(duì)的任何工作。

升級(jí)是需要權(quán)衡的。例如，從1級(jí)到2級(jí)減少了持續(xù)的數(shù)據(jù)需求和定制工作，但引入了一個(gè)自我強(qiáng)化的偏差問(wèn)題。選擇升級(jí)需要認(rèn)識(shí)到新的挑戰(zhàn)，以及在設(shè)計(jì)AI系統(tǒng)時(shí)需要采取那些措施。

在系統(tǒng)升級(jí)過(guò)程中，其可擴(kuò)展性、通用性、穩(wěn)健性等均發(fā)揮關(guān)鍵作用。在第N級(jí)的項(xiàng)目上工作時(shí)，我們應(yīng)該考慮達(dá)到第N+1級(jí)的工作成本和收益，同時(shí)應(yīng)該根據(jù)自己的目標(biāo)設(shè)定合適的分級(jí)，并意識(shí)到何時(shí)需要升級(jí)現(xiàn)有的AI系統(tǒng)。

0級(jí)：可靠型(傳統(tǒng)型)Deterministic

不需要訓(xùn)練數(shù)據(jù)，不需要測(cè)試數(shù)據(jù)，不涉及學(xué)習(xí)的算法處于0級(jí)。

0級(jí)(計(jì)算機(jī)科學(xué)中的傳統(tǒng)算法)的最大好處是非?？煽浚灰鉀Q了問(wèn)題就是最優(yōu)解。在某種程度上，很多的算法(比如二分搜索)都是對(duì)數(shù)據(jù)的“自適應(yīng)”。我們通常不認(rèn)為排序算法是“學(xué)習(xí)”的。學(xué)習(xí)涉及到記憶——系統(tǒng)在過(guò)去學(xué)習(xí)的基礎(chǔ)上改變未來(lái)的行為。

然而，有些問(wèn)題采用預(yù)先指定的算法很難解決。對(duì)于那些人類(lèi)難以詮釋的問(wèn)題(如語(yǔ)音到文本、翻譯、圖像識(shí)別、語(yǔ)言提示等)，它很難執(zhí)行。

示例：

• 用于信用卡驗(yàn)證的Luhn算法
• 基于正則表達(dá)式的系統(tǒng)
• 信息檢索算法，如TFIDF檢索或BM25
• 基于字典的(Dictionary-based)拼寫(xiě)校正

注意：在某些情況下，可能會(huì)有少量參數(shù)需要調(diào)優(yōu)。例如，ElasticSearch提供了修改BM25參數(shù)的能力(例如一鍵設(shè)置set and forget)。

Level 1：學(xué)習(xí)型Learned

靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測(cè)試數(shù)據(jù)。

您可以在脫機(jī)環(huán)境中訓(xùn)練模型，再將訓(xùn)練好的“固化”的權(quán)重部署到生產(chǎn)系統(tǒng)中。模型可能會(huì)有一個(gè)更新的節(jié)奏，但是模型運(yùn)行的環(huán)境不會(huì)影響模型。

Level 1可以讓你嘗試學(xué)習(xí)和部署任何功能，但訓(xùn)練數(shù)據(jù)是有限的。這是一個(gè)嘗試不同類(lèi)型解決方案的演練場(chǎng)。此外，對(duì)一些常見(jiàn)的問(wèn)題(如語(yǔ)音識(shí)別)，你可以從邊際成本遞減中獲益。

Level 1的缺點(diǎn)是對(duì)單個(gè)用例的定制化學(xué)習(xí)：你需要為每個(gè)用例管理訓(xùn)練數(shù)據(jù)，而用例可能會(huì)隨著時(shí)間的推移而改變，因此需要不斷地添加訓(xùn)練數(shù)據(jù)以保持模型的性能。這個(gè)成本是難以承受的。

示例：

• 自定義文本分類(lèi)模型
• 語(yǔ)音到文本(聲學(xué)模型)

Level 2：自學(xué)習(xí)型Self-learning

動(dòng)態(tài)+靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測(cè)試數(shù)據(jù)。

Level 2是使用由系統(tǒng)生成的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行改進(jìn)的系統(tǒng)。在某些情況下，數(shù)據(jù)的生成是獨(dú)立于模型的。所以我們希望隨著時(shí)間的推移以及更多的數(shù)據(jù)加入模型，性能會(huì)增加;在其他情況下，模型干預(yù)會(huì)增強(qiáng)模型偏差，并且隨著時(shí)間的推移，表現(xiàn)會(huì)變得更糟。為了消除模型偏差，我們需要靜態(tài)數(shù)據(jù)集重新評(píng)估模型。

這樣來(lái)看，Level 2性能似乎可以隨著時(shí)間的推移而自動(dòng)提高。但是如果不加以管理，系統(tǒng)可能會(huì)隨著數(shù)據(jù)的增加變得更糟。因?yàn)楸举|(zhì)上依賴(lài)于靜態(tài)數(shù)據(jù)集(一開(kāi)始生成自己模型的訓(xùn)練數(shù)據(jù))，處于Level 2的系統(tǒng)改進(jìn)能力有限，而要解決這種模型偏差很有挑戰(zhàn)性。

示例：

• Naive垃圾郵件過(guò)濾器
• 語(yǔ)音-文本模型(語(yǔ)言模型)

Level 3：自動(dòng)型Autonomous (or self-correcting)

動(dòng)態(tài)訓(xùn)練數(shù)據(jù)，動(dòng)態(tài)測(cè)試數(shù)據(jù)。

Level 3系統(tǒng)既能改變?nèi)祟?lèi)的行為(例如建議一個(gè)操作并讓用戶選擇)，又能直接從該用戶行為中學(xué)習(xí)(例如用戶的選擇偏好)。從2級(jí)升級(jí)到3級(jí)意味著系統(tǒng)的可靠性和總體可實(shí)現(xiàn)性能將大幅提高。

相較于Level 2，Level 3，系統(tǒng)可以隨著時(shí)間的推移而改善。當(dāng)然，它也更加復(fù)雜。它可能需要真正驚人的數(shù)據(jù)量，或者非常精心的設(shè)計(jì)，才能比簡(jiǎn)單的系統(tǒng)做得更好;但是它適應(yīng)環(huán)境的能力也使測(cè)試非常困難，甚至可能出現(xiàn)災(zāi)難性的惡性循環(huán)。例如，測(cè)試人員糾正一個(gè)垃圾郵件過(guò)濾器——雖然人類(lèi)只糾正了系統(tǒng)所做的錯(cuò)誤分類(lèi)，但是系統(tǒng)意識(shí)到其所有預(yù)測(cè)可能都是錯(cuò)誤的(過(guò)于敏感)，并將自己的預(yù)測(cè)整個(gè)顛倒過(guò)來(lái)。

Level 4：智能型Intelligent (or globally optimizing)

動(dòng)態(tài)訓(xùn)練數(shù)據(jù)，動(dòng)態(tài)測(cè)試數(shù)據(jù)，動(dòng)態(tài)目標(biāo)。

Level 4是既能與環(huán)境動(dòng)態(tài)交互又能全局優(yōu)化的系統(tǒng)。例如，AutoSuggest模型并不優(yōu)化當(dāng)前方法，而是優(yōu)化一系列事件以達(dá)到最佳的對(duì)話框的目標(biāo)。

雖然如何實(shí)現(xiàn)還有漫長(zhǎng)的探索之路要走，Level 4的前景確實(shí)一片光明。精準(zhǔn)定位問(wèn)題，引入獎(jiǎng)勵(lì)與懲罰機(jī)制，評(píng)估模型的行為，這些都是重大而艱巨的任務(wù)。

附錄：

原文鏈接：https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html

譯者介紹

張怡，51CTO社區(qū)編輯，中級(jí)工程師。主要研究人工智能算法實(shí)現(xiàn)以及場(chǎng)景應(yīng)用，對(duì)機(jī)器學(xué)習(xí)算法和自動(dòng)控制算法有所了解和掌握，并將持續(xù)關(guān)注國(guó)內(nèi)外人工智能技術(shù)的發(fā)展動(dòng)態(tài)，特別是人工智能技術(shù)在智能網(wǎng)聯(lián)汽車(chē)、智能家居等領(lǐng)域的具體實(shí)現(xiàn)及其應(yīng)用。