大模型領(lǐng)域的發(fā)展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：

1、LLM的"數(shù)數(shù)"能力有多弱？一個(gè)意想不到的"罪魁禍?zhǔn)?

2、專家模型的潛在隱患：用戶提示被竊取的背后

1、LLM的"數(shù)數(shù)"能力有多弱？一個(gè)意想不到的"罪魁禍?zhǔn)?

你相信大型語(yǔ)言模型（LLM）連簡(jiǎn)單的"數(shù)數(shù)"都可能做不好嗎？近期一篇震驚學(xué)術(shù)界的論文揭示了這個(gè)令人驚訝的事實(shí)：即便是號(hào)稱"無(wú)所不能"的AI模型，在面對(duì)基礎(chǔ)計(jì)數(shù)任務(wù)時(shí)也可能栽跟頭。

這項(xiàng)研究的關(guān)鍵發(fā)現(xiàn)在于：tokenization（分詞）可能是影響AI模型計(jì)數(shù)能力的"幕后黑手"。就像一個(gè)翻譯員不小心省略或錯(cuò)誤理解了部分對(duì)話，不恰當(dāng)?shù)姆衷~方式會(huì)導(dǎo)致AI模型丟失關(guān)鍵信息，使其在計(jì)數(shù)任務(wù)中準(zhǔn)確率最高可降低80%！研究者們通過大量實(shí)驗(yàn)證實(shí)，不同的分詞策略會(huì)極大地影響模型的推理能力。    

有趣的是，這個(gè)看似技術(shù)性很強(qiáng)的發(fā)現(xiàn)，實(shí)際上揭示了AI模型"思考"的本質(zhì)機(jī)制。傳統(tǒng)的Transformer架構(gòu)本身就存在計(jì)算深度的先天局限，而精心設(shè)計(jì)的分詞方法可以在某種程度上"彌補(bǔ)"這一缺陷。這就像是為AI模型配備了一副更精確的"眼鏡"，幫助它更準(zhǔn)確地"看清"和"理解"輸入的信息。

對(duì)于普通讀者和AI從業(yè)者來(lái)說，這項(xiàng)研究傳遞了一個(gè)重要信息：AI的智能遠(yuǎn)比我們想象的更加脆弱和依賴細(xì)節(jié)。在追求"智能"的道路上，每一個(gè)看似微不足道的技術(shù)細(xì)節(jié)，都可能成為決定性的關(guān)鍵。

論文標(biāo)題：Counting Ability of Large Language Models and Impact of Tokenization

論文鏈接：https://arxiv.org/abs/2410.19730

2、專家模型的潛在隱患：用戶提示被竊取的背后

在當(dāng)今的語(yǔ)言模型中，Mixture-of-Experts (MoE) 架構(gòu)以其高效性和可擴(kuò)展性而備受青睞。然而，最新的研究揭示了這種架構(gòu)中的一個(gè)嚴(yán)重安全漏洞——用戶輸入提示的泄露。本文深入探討了“MoE Tiebreak Leakage”攻擊，揭示了惡意用戶如何通過巧妙構(gòu)造查詢批次，利用專家選擇路由的缺陷，從而完全竊取目標(biāo)用戶的私人輸入。    

研究人員成功地在一個(gè)兩層的Mixtral模型中展示了這種攻擊。他們發(fā)現(xiàn)，惡意用戶只需提交少量精心設(shè)計(jì)的查詢，就能夠操控專家路由，使目標(biāo)用戶的提示泄露。具體而言，研究表明，攻擊者只需發(fā)出平均100個(gè)查詢，便可提取到整個(gè)用戶提示，揭示了MoE模型在設(shè)計(jì)時(shí)未能考慮的安全隱患。    

該論文不僅介紹了這一新型攻擊，還強(qiáng)調(diào)了在語(yǔ)言模型設(shè)計(jì)和部署過程中進(jìn)行系統(tǒng)安全分析的重要性。由于這種信息泄露現(xiàn)象微妙而難以察覺，研究者呼吁在未來(lái)的模型架構(gòu)中融入安全考慮，以防止類似的攻擊再次發(fā)生。    

隨著語(yǔ)言模型的不斷發(fā)展，確保用戶數(shù)據(jù)安全將是一個(gè)亟需解決的重要問題。深入了解MoE模型的安全漏洞，將有助于推動(dòng)更加安全的AI技術(shù)進(jìn)步。

論文標(biāo)題：Stealing User Prompts from Mixture of Experts

論文鏈接：??https://arxiv.org/abs/2410.22884??

本文轉(zhuǎn)載自 ??AI帝國(guó)??，作者： 無(wú)影寺