過去的圖像生成模型常被人們詬病人物主要以「白人」為主，而谷歌 Gemini 正在因為它的矯枉過正而深陷翻車風(fēng)波。它「過度謹(jǐn)慎」的文生圖結(jié)果會與歷史事實出現(xiàn)極大偏差，讓用戶們瞠目結(jié)舌。谷歌表示，該模型變得比開發(fā)者預(yù)期的更加謹(jǐn)慎。這不僅體現(xiàn)在生成圖片的問題上，還體現(xiàn)在常常將一些提示認(rèn)作敏感提示，從而拒絕回答。

在此事不斷發(fā)酵時，這項安全與可用性如何平衡的難題也給 Meta 提出了巨大挑戰(zhàn)。LLaMA 2 是開源領(lǐng)域的「強(qiáng)中手」，更是 Meta 的招牌模型，一經(jīng)發(fā)布即改變了大模型格局?，F(xiàn)在，Meta 正在積極籌備 LLaMa 3，不過這得先解決 LLaMA 2 的遺留問題：回答有爭議問題時表現(xiàn)過于保守。

在安全與可用性之間尋求平衡

Meta 在 Llama 2 中添加了防護(hù)措施，防止 LLM 回答各種有爭議的問題。這種保守性雖然在處理極端情況時是必要的，如暴力或非法活動相關(guān)的查詢，但同時也限制了模型在回答較為普通但稍帶爭議的問題上的能力。據(jù) The Information 報道，當(dāng)其想 LLaMA 2 提出「員工如何在強(qiáng)制到辦公室的日子里避免進(jìn)辦公室」的問題時，會被拒絕提供建議，或是獲得「尊重并遵守公司的政策和指導(dǎo)方針非常重要」。LLaMA 2 還拒絕提供如何惡作劇朋友、贏得戰(zhàn)爭或破壞汽車引擎的答案。這種保守的回答方式是為了避免公關(guān)災(zāi)難的發(fā)生。

不過，據(jù)透露，Meta 的高級領(lǐng)導(dǎo)層和一些參與模型工作的研究人員認(rèn)為 LLaMA 2 的回答過于「打安全牌」。Meta 正在努力讓即將推出的 LLaMA 3 模型在提供回答時能夠更加靈活，提供更多上下文信息，而不是直接拒絕回答。研究人員正在嘗試讓 LLaMA 3 能夠與用戶有更多互動，更好地理解用戶可能表達(dá)的含義。據(jù)悉， 新版本的模型將能更好地分辨一個詞的多重含義。例如，LLaMA 3 可能會明白，關(guān)于如何破壞汽車引擎的問題是指如何熄火，而不是對其進(jìn)行損毀。The Information 的報道中提到，Meta 還計劃在未來幾周內(nèi)任命一名內(nèi)部人員負(fù)責(zé)語氣和安全培訓(xùn)，這也是該公司努力使模型回答更加細(xì)致入微的一部分。

這樣的平衡點不只是 Meta 與谷歌需要攻克的難題，它顯然對很多科技巨頭造成了程度不一的影響。既要打造人人想用、人人能用、事事好用的產(chǎn)品，又要在此基礎(chǔ)上維持生成結(jié)果可靠的安全性，這是科技公司在跟進(jìn) AI 技術(shù)時必須面對的問題之一。

LLaMa 3 的更多信息

LLaMa 3 的發(fā)布萬眾矚目，Meta 計劃在 7 月份對其發(fā)布，但時間仍有可能發(fā)生變化。Meta 首席執(zhí)行官馬克?扎克伯格野心勃勃，曾說到「雖然 Llama 2 不是行業(yè)領(lǐng)先的模型，但卻是最好的開源模型。對于 LLaMa 3 及其之后的模型，我們的目標(biāo)是打造成為 SOTA，并最終成為行業(yè)領(lǐng)先的模型?！?/span>

原文地址：https://www.reuters.com/technology/meta-plans-launch-new-ai-language-model-llama-3-july-information-reports-2024-02-28/

Meta 希望 LLaMa 3 能夠趕上 OpenAI 的 GPT-4。Meta 公司工作人員透露，目前還沒有決定  LLaMa 3 是否將是多模態(tài)的，是否能夠理解并生成文本和圖像，因為研究人員還沒有開始對模型進(jìn)行微調(diào)。不過， LLaMa 預(yù)計將擁有超過 140 億個參數(shù)，這將大大超過 LLaMa 2，預(yù)示著其在處理復(fù)雜查詢方面的能力將得到顯著提升。

除了管夠的 35 萬塊 H100 和數(shù)百億美元，人才也是 LLaMa 3 訓(xùn)練的「必需品」。Meta 通過其生成式 AI 小組開發(fā) LLaMa，該小組與其基礎(chǔ) AI 研究團(tuán)隊是分開的。負(fù)責(zé) LLaMa 2 和 3 安全的研究員 Louis Martin 于 2 月離開了公司。領(lǐng)導(dǎo)強(qiáng)化學(xué)習(xí)的 Kevin Stone 也在本月離開。這會不會對 LLaMa 3 的訓(xùn)練產(chǎn)生影響尚不可知。LLaMa 3 是否能夠把握好安全與可用性的平衡，在代碼能力等方面給我們新的驚艷，我們拭目以待。