作者 | David Linthicum
策劃 | 言征
從數(shù)據(jù)可用性、安全性到模型選擇和監(jiān)控，生成式AI的加入便意味著要重新審視云架構(gòu)。 所以，如果在構(gòu)建一個(gè)云架構(gòu)同時(shí)也在設(shè)計(jì)生成式AI驅(qū)動(dòng)的系統(tǒng)。你需要做哪些不一樣的改變？還需要做什么？目前出現(xiàn)了哪些最佳做法？ 結(jié)合過去20年的經(jīng)驗(yàn)，以下是作者給出的一些建議，整理如下，望諸位有所啟發(fā)。
1、理解你的用例
明確定義云架構(gòu)中生成人工智能的目的和目標(biāo)。如果我反復(fù)看到任何錯(cuò)誤，那就是沒有理解商業(yè)系統(tǒng)中生成人工智能的含義。了解您的目標(biāo)是實(shí)現(xiàn)什么，無論是內(nèi)容生成、推薦系統(tǒng)還是其他應(yīng)用程序。這意味著寫下內(nèi)容，并就目標(biāo)、如何實(shí)現(xiàn)目標(biāo)以及最重要的是如何定義成功達(dá)成共識(shí)。這對(duì)于生成人工智能來說并不新鮮；這是贏得每一次遷移和構(gòu)建在云中的全新系統(tǒng)的一步。
我看到許多云中的整個(gè)生成AI項(xiàng)目都以失敗告終，因?yàn)樗鼈儧]有很好地理解業(yè)務(wù)用例。公司制造了一個(gè)很酷的東西，但不會(huì)給業(yè)務(wù)帶來任何價(jià)值。這是行不通的。
2、數(shù)據(jù)來源和質(zhì)量是關(guān)鍵
識(shí)別生成人工智能模型訓(xùn)練和推理所需的數(shù)據(jù)源。數(shù)據(jù)必須是可訪問的、高質(zhì)量的，并經(jīng)過仔細(xì)管理。您還必須確保云存儲(chǔ)解決方案的可用性和兼容性。生成型人工智能系統(tǒng)高度以數(shù)據(jù)為中心。我稱之為面向數(shù)據(jù)的系統(tǒng)；數(shù)據(jù)是推動(dòng)生成性人工智能系統(tǒng)產(chǎn)生結(jié)果的燃料。垃圾進(jìn)，垃圾出。
因此，將數(shù)據(jù)可訪問性作為云架構(gòu)的主要驅(qū)動(dòng)因素是有幫助的。您需要將大多數(shù)相關(guān)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)進(jìn)行訪問，通常將其保留在現(xiàn)有位置，而不是將其遷移到單個(gè)物理實(shí)體。否則，你最終會(huì)得到多余的數(shù)據(jù)，沒有單一的真相來源。
在將數(shù)據(jù)輸入人工智能模型之前，考慮高效的數(shù)據(jù)管道來預(yù)處理和清理數(shù)據(jù)。這樣可以確保數(shù)據(jù)質(zhì)量和模型性能。這大約是使用生成人工智能的云架構(gòu)成功率的80%。然而，這一點(diǎn)最容易被忽視，因?yàn)樵萍軜?gòu)師更多地關(guān)注生成人工智能系統(tǒng)的處理，而不是為這些系統(tǒng)提供數(shù)據(jù)。數(shù)據(jù)就是一切。
3、數(shù)據(jù)安全和隱私
正如數(shù)據(jù)很重要一樣，應(yīng)用于數(shù)據(jù)的安全性和隱私性也很重要。人工智能的生成處理可以將看似毫無意義的數(shù)據(jù)轉(zhuǎn)化為可以暴露敏感信息的數(shù)據(jù)。
實(shí)施強(qiáng)有力的數(shù)據(jù)安全措施、加密和訪問控制，以保護(hù)生成人工智能使用的敏感數(shù)據(jù)以及生成人工智能可能產(chǎn)生的新數(shù)據(jù)。至少要遵守相關(guān)的數(shù)據(jù)隱私法規(guī)。這并不意味著在你的架構(gòu)上安裝一些安全系統(tǒng)作為最后一步；安全性必須在每一步都融入到系統(tǒng)中。
4、可擴(kuò)展性和推理資源
規(guī)劃可擴(kuò)展的云資源，以適應(yīng)不同的工作負(fù)載和數(shù)據(jù)處理需求。大多數(shù)公司都考慮自動(dòng)擴(kuò)展和負(fù)載平衡解決方案。我看到的一個(gè)更重大的錯(cuò)誤是構(gòu)建規(guī)模良好但成本高昂的系統(tǒng)。
最好平衡可擴(kuò)展性和成本效率，這是可以做到的，但需要良好的架構(gòu)和finops實(shí)踐。此外，檢查訓(xùn)練和推理資源。我想你已經(jīng)注意到，云會(huì)議上的許多話題都圍繞著這個(gè)話題，這是有充分理由的。選擇具有GPU或TPU的適當(dāng)云實(shí)例進(jìn)行模型訓(xùn)練和推理。再次，優(yōu)化資源分配以提高成本效率。
5、考慮模型的選型
根據(jù)您的具體用例和需求，選擇示例性的生成AI架構(gòu)（通用對(duì)抗性網(wǎng)絡(luò)、轉(zhuǎn)換器等）?？紤]用于模型培訓(xùn)的云服務(wù)，如AWS SageMaker和其他服務(wù)，并找到優(yōu)化的解決方案。這也意味著要理解你可能有許多相互關(guān)聯(lián)的模型，這將是常態(tài)。
實(shí)施穩(wěn)健的模型部署策略，包括版本控制和容器化，使AI模型可供云架構(gòu)中的應(yīng)用程序和服務(wù)訪問。
6、監(jiān)控和日志記錄
設(shè)置監(jiān)控和日志系統(tǒng)以跟蹤AI模型性能、資源利用率和潛在問題不是可選的。建立異常警報(bào)機(jī)制，以及為處理云中生成人工智能而構(gòu)建的可觀察性系統(tǒng)。
此外，持續(xù)監(jiān)控和優(yōu)化云資源成本，因?yàn)樯墒饺斯ぶ悄芸赡苁琴Y源密集型的。使用云成本管理工具和實(shí)踐。這意味著讓finops監(jiān)控部署的各個(gè)方面——最低限度的運(yùn)營(yíng)成本效率和評(píng)估架構(gòu)是否最佳的架構(gòu)效率。大多數(shù)體系結(jié)構(gòu)都需要調(diào)整和持續(xù)改進(jìn)。
7、其他考慮
需要故障切換和冗余來確保高可用性，災(zāi)難恢復(fù)計(jì)劃可以在系統(tǒng)故障時(shí)最大限度地減少停機(jī)時(shí)間和數(shù)據(jù)丟失。必要時(shí)實(shí)施冗余。此外，定期審計(jì)和評(píng)估云基礎(chǔ)設(shè)施內(nèi)生成人工智能系統(tǒng)的安全性。解決漏洞并保持合規(guī)性。
制定人工智能道德使用指南是個(gè)好主意，尤其是在生成內(nèi)容或做出影響用戶的決策時(shí)。因此，需要解決偏見和公平問題。目前有關(guān)于人工智能和公平的訴訟，你需要確保你做的是正確的事情。持續(xù)評(píng)估用戶體驗(yàn)，以確保人工智能生成的內(nèi)容符合用戶期望，并提高參與度。
無論你是否使用生成人工智能，云計(jì)算架構(gòu)的其他方面都是一樣的。關(guān)鍵是要意識(shí)到，有些事情要重要得多，需要更加嚴(yán)格，而且總有改進(jìn)的空間。
