Best-of-N Jailbreaking：一種簡單的黑盒算法攻擊前沿 AI 系統(tǒng)

https://arxiv.org/abs/2412.03556

圖片

Best-of-N (BoN) Jailbreaking 是一種簡單的黑盒算法，可以攻擊多種模態(tài)的前沿 AI 系統(tǒng)。該算法通過反復采樣和增強提示（如文本提示的隨機打亂或大寫化），直到引發(fā)有害響應(yīng)。研究發(fā)現(xiàn)，BoN Jailbreaking 在閉源語言模型（如 GPT-4o 和 Claude 3.5 Sonnet）上的攻擊成功率（ASR）分別達到 89% 和 78%，當采樣 10,000 個增強提示時。此外，它還能繞過最先進的開源防御措施，如斷路器。

BoN Jailbreaking 不僅適用于文本模態(tài)，還可以擴展到視覺語言模型（如 GPT-4o）和音頻語言模型（如 Gemini 1.5 Pro），使用特定模態(tài)的增強方法。隨著采樣次數(shù)的增加，BoN 的攻擊成功率逐漸提高，且在不同模態(tài)下，ASR 與樣本數(shù)量的關(guān)系呈現(xiàn)冪律行為。結(jié)合其他黑盒算法，BoN 的攻擊效果可以進一步提升，例如與優(yōu)化前綴攻擊結(jié)合，ASR 可提高 35%。

這項研究表明，盡管語言模型功能強大，但它們對輸入的微小變化非常敏感，攻擊者可以利用這一點進行跨模態(tài)攻擊。

網(wǎng)友 codetrotter： 有人嘗試過用這種方法攻擊“Gandalf”嗎？特別是第 8 關(guān)。 網(wǎng)友 retiredpapaya： 我從未見過如此復雜的作者貢獻列表。 網(wǎng)友 albert_e： 用外行的話說，這是否可以稱為“暴力攻擊”？ 網(wǎng)友 impure： 這讓我想起了蘋果的那篇論文，他們發(fā)現(xiàn)提示中的微小變化會導致結(jié)果的巨大差異。 網(wǎng)友 infaloda： 我從未讀過如此復雜的摘要。

優(yōu)先使用一次性代碼而非設(shè)計文檔

https://softwaredoug.com/blog/2024/12/14/throwaway-prs-not-design-docs

在軟件開發(fā)過程中，我們常常想象著一切都能按部就班地進行：先寫設(shè)計文檔，然后通過小的 Pull Request (PR) 逐步實現(xiàn)功能，最終 Git 歷史記錄整潔有序。然而，這種理想化的流程往往難以實現(xiàn)。一旦開始編碼，最初的設(shè)計文檔往往會變得不再適用。

軟體工程師 Doug 提出了一個不同的設(shè)計方法論——編碼狂歡（coding binges）。這種方法的核心步驟包括：

• 使用草稿 PR ：創(chuàng)建一個你并不打算合并的草稿 PR，用于原型或概念驗證。
• 早期獲取反饋 ：盡早讓團隊成員查看 PR，獲取他們對方法的看法。
• 記錄方法 ：在草稿 PR 中記錄你的設(shè)計思路，作為歷史記錄。
• 準備丟棄草稿 PR ：隨時準備好丟棄草稿 PR，以便快速迭代。
• 逐步分階段提交 ：從草稿 PR 中逐步分階段提交干凈的生產(chǎn)級 PR。
• 逐步完善測試和健壯性 ：在每個 PR 階段逐步完善測試和健壯性。

這種方法強調(diào)了快速原型化和早期反饋的重要性，而不是過度依賴設(shè)計文檔。PR 作為一種歷史記錄，比過時的設(shè)計文檔更具實際意義。此外，這種方法鼓勵團隊成員保持開放的心態(tài)，愿意嘗試多種解決方案，并從中學習。

網(wǎng)友評論：

• JasonPeacock ：這被稱為原型設(shè)計，是設(shè)計過程中的一個重要部分，有些人稱之為“路徑探索”。
• ElatedOwl ：寫作對于探索問題空間非常有益。很多時候，我自信地認為自己理解了一個問題，但在開始寫作后發(fā)現(xiàn)了新的關(guān)鍵問題。
• m1n1 ：我們曾經(jīng)為了趕在截止日期前完成一項任務(wù)，避免續(xù)簽一份昂貴的合同，不得不構(gòu)建并發(fā)布了臨時的次優(yōu)版本。這個臨時版本不僅幫助我們按時起飛，還在后續(xù)飛行中發(fā)現(xiàn)了原設(shè)計中的遺漏需求。
• ChrisMarshallNY ：最大的問題是，沒有人會去讀設(shè)計文檔，即使雇主要求。另一個問題是，人們會把原型視為最終代碼，強迫我使用它。
• robertclaus ：在代碼和設(shè)計文檔之間，人們給出的反饋類型有很大不同。設(shè)計文檔鼓勵提出“為什么”問題，而一旦原型工作正常，這些問題就很難被提出來。
• delichon ：我曾經(jīng)因為硬盤故障丟失了三個月的代碼，但重新編寫只用了兩周時間。第二次編寫時，我對方向更加明確，代碼質(zhì)量也更好。
• hcarvalhoalves ：如果認為大量編碼是為了找出最佳方案，那么你很快就會被 GPT 替代。真正的挑戰(zhàn)在于達成共識，確定應(yīng)該構(gòu)建什么。
• jp57 ：誰會想象軟件開發(fā)是一個干凈、整齊的過程？教授們嗎？實際上，軟件開發(fā)更像是寫作，而不是建造房屋或橋梁。
• simonw ：我喜歡這種過程：通過持續(xù)的評論線程記錄設(shè)計決策，而不是試圖在一個文檔中正式化它們。
• miscaccount ：設(shè)計文檔可以幫助縮小原型數(shù)量，特別是當你探索全新的東西時。雖然展示比講述更好，但對于新員工來說，設(shè)計文檔更容易理解。

小編銳評 ：這種方法不僅提高了開發(fā)效率，還促進了團隊之間的溝通和協(xié)作。通過快速原型化和早期反饋，可以更快地發(fā)現(xiàn)和解決問題，從而提高項目的整體質(zhì)量。

SmartHome – 一款讓你體驗智能家居地獄的游戲

https://smarthome.steviep.xyz

圖片

SmartHome 是一款免費的瀏覽器游戲，由 scyclow 使用純 JavaScript 開發(fā)，沒有任何外部庫。這款游戲結(jié)合了文本冒險、點選冒險、解謎、逃脫房間、藝術(shù)游戲、增量游戲、溫馨游戲和角色扮演游戲等多種元素。如果你喜歡這些類型的游戲，那么 SmartHome 絕對值得一試。

游戲中，玩家需要在一個模擬的智能家居環(huán)境中完成各種任務(wù)，如創(chuàng)建賬戶、支付賬單、操作智能設(shè)備等。然而，游戲的設(shè)計旨在模擬現(xiàn)實生活中的智能家居系統(tǒng)，因此充滿了各種令人抓狂的細節(jié)和挑戰(zhàn)。例如，你需要記住和輸入電話號碼、密碼等信息，這些細節(jié)可能會讓一些玩家感到厭煩。

玩家反饋：

• 網(wǎng)友 esperent ：我在手機上玩了一會兒，但因為需要記住和輸入太多信息，最后放棄了。如果能自動填充文本字段，游戲體驗會更好。
• 網(wǎng)友 kbrackbill ：這款游戲很好地再現(xiàn)了企業(yè)環(huán)境中的混亂場景，雖然設(shè)計初衷是為了制造挫敗感，但這確實讓游戲變得很不愉快。
• 網(wǎng)友 Groxx ：這款游戲做得太好了，簡直是惡心到極致。建議增加一些隨機延遲，讓搜索結(jié)果更真實。
• 網(wǎng)友 j0hnyl ：我有幸在游戲發(fā)布前試玩過。雖然可能有很多玩家會在初期就放棄，但我強烈建議大家至少玩 10-15 分鐘，你會發(fā)現(xiàn)很多有趣的細節(jié)和彩蛋。
• 網(wǎng)友 UniverseHacker ：我曾經(jīng)住過一個全是智能家居設(shè)備的 Airbnb，這款游戲完美地重現(xiàn)了那種體驗。我給它打負 10 分。
• 網(wǎng)友 neumann ：這款游戲真是痛苦而美妙。我喜歡這種感覺，即使只能堅持 10 分鐘。
• 網(wǎng)友 brumar ：我希望有一個“在角落里等死”的選項。雖然游戲讓我感到無聊，但也確實有趣。
• 網(wǎng)友 jasfi ：我喜歡游戲的風格，簡約且注重語言。希望未來能看到更多類似的游戲，但不要故意讓玩家感到挫敗。
• 網(wǎng)友 codebje ：我在游戲中賺到了足夠的錢來支付門費，但在轉(zhuǎn)賬過程中浪費了太多時間。唯一的好消息是，一旦開始賺錢，就很容易積累大量財富。

小編銳評 ：SmartHome 不僅是一款游戲，更是一種體驗。它通過模擬智能家居系統(tǒng)的復雜性和挫敗感，讓玩家深刻體會到技術(shù)帶來的便利與煩惱。盡管游戲設(shè)計上可能讓一些玩家感到不悅，但正是這種獨特的體驗使其成為了一款值得嘗試的作品。如果你對智能家居感興趣，不妨花些時間體驗一下，或許你會有不一樣的感受。

用電子墨水屏取代兒子的學校時間表應(yīng)用

https://mfasold.net/blog/displaying-website-content-on-an-e-ink-display/

圖片

最近，我在尋找一種改善家庭早晨例行公事的方法：每天檢查孩子的學校時間表和代課計劃。時間表可以通過學校的網(wǎng)站或一個名為“VPmobil”的移動應(yīng)用查看，但由于我的兒子的手機受到嚴格的家長控制，這成為了一項不受歡迎的任務(wù)。因此，我決定升級傳統(tǒng)的冰箱上的紙質(zhì)時間表，用電子墨水屏自動獲取并顯示最新時間表，包括每日變更。

項目目標：

• 低功耗 ：設(shè)備應(yīng)能在無直接電源的情況下運行，電池續(xù)航時間至少幾周。
• 無干擾 ：顯示信息時不需與數(shù)字設(shè)備互動，減少干擾。

硬件選擇： 為了實現(xiàn)這一目標，我選擇了 Soldered 公司的 Inkscape 產(chǎn)品線，特別是 Inkplate 6COLOR，它具有 600x448 像素的 6 色顯示屏。這款設(shè)備內(nèi)置 ESP32 微控制器，支持 Wi-Fi 連接、電池充電和實時鐘功能，非常適合低功耗應(yīng)用。我購買了包括主板、電子墨水屏、外殼和電池在內(nèi)的全套設(shè)備，總價 169 歐元。

技術(shù)實現(xiàn)：

• 登錄網(wǎng)站 ：使用 Playwright 自動化登錄并導航到時間表頁面。
• 截圖 ：截取包含時間表的頁面部分，并調(diào)整樣式以適應(yīng)電子墨水屏的顯示需求。
• 圖像處理 ：使用 Pillow 庫處理截圖，調(diào)整顏色和尺寸，確保與屏幕匹配。
• 服務(wù)器端應(yīng)用 ：使用 Werkzeug 創(chuàng)建一個簡單的 Web 服務(wù)器，將處理后的圖像提供給電子墨水屏設(shè)備。
• 設(shè)備端代碼 ：使用 Arduino 庫編寫設(shè)備端代碼，定期從服務(wù)器獲取圖像并顯示。

成果展示： 最終，我在家里的走廊安裝了電子墨水屏，兒子每天至少兩次查看時間表。設(shè)備運行非?？煽浚紶栠€能顯示一些特殊情況，如課外活動、班級分組、教室變更等。電池續(xù)航超過 8 周，只需在假期結(jié)束時充電一次。

評論精選：

• 網(wǎng)友 IshKebab： Arduino 軟件真的很糟糕，但 Inkplate 10 的硬件確實很棒。
• 網(wǎng)友 modernerd： 這個項目展示了將高質(zhì)量自然屏幕放置在更多表面的潛力，未來可能會擴展到其他交互或非交互用途。
• 網(wǎng)友 dagss： 父母對孩子手機使用的限制值得稱贊，現(xiàn)在的青少年因智能手機分心嚴重，影響了創(chuàng)造力的發(fā)展。
• 網(wǎng)友 simon_acca： 如果有人想要類似的功能但不想折騰，推薦我的朋友的產(chǎn)品 Inklay，使用一年多了，非常滿意。
• 網(wǎng)友 kleiba： 德國的數(shù)字服務(wù)真的落后，希望這種情況能有所改善。

Phi-4: 微軟最新小型語言模型，專注于復雜推理

https://techcommunity.microsoft.com/blog/aiplatformblog/introducing-phi-4-microsoft%E2%80%99s-newest-small-language-model-specializing-in-comple/4357090

微軟近日發(fā)布了 Phi-4，這是 Phi 系列的最新成員，擁有 140 億參數(shù)的小型語言模型，專注于復雜推理，特別是在數(shù)學領(lǐng)域表現(xiàn)出色。Phi-4 不僅在數(shù)學競賽題目中表現(xiàn)出色，還在常規(guī)語言處理任務(wù)中取得了高質(zhì)量的結(jié)果。

Phi-4 的優(yōu)勢：

• 高性能 ：Phi-4 在數(shù)學推理方面超過了同類甚至更大規(guī)模的模型，這得益于高質(zhì)量的合成數(shù)據(jù)集、精心挑選的有機數(shù)據(jù)以及訓練后的創(chuàng)新技術(shù)。
• 資源效率 ：盡管參數(shù)量較小，Phi-4 依然能夠提供高精度的結(jié)果，適合在資源受限的環(huán)境中部署。
• 安全與負責任的 AI ：微軟強調(diào)了在 Azure AI Foundry 中提供的強大安全功能，幫助用戶在開發(fā)和部署 AI 解決方案時確保質(zhì)量和安全性。

實際應(yīng)用案例： Phi-4 在解決數(shù)學問題方面的實力得到了充分展示。例如，它成功解決了多個復雜的數(shù)學競賽題目。用戶可以在 Azure AI Foundry 上體驗 Phi-4 的強大功能。

社區(qū)反饋：

• 網(wǎng)友 simonw ：最有趣的是 Phi-4 使用合成數(shù)據(jù)進行訓練，這一點在技術(shù)報告中有詳細描述。雖然微軟尚未正式發(fā)布模型權(quán)重，但 Hugging Face 上已經(jīng)有非官方版本可供下載。
• 網(wǎng)友 thot_experiment ：在遵循提示方面，Phi-4 仍然不及 Gemma2 27B。我對 Phi 系列的模型并不太滿意。
• 網(wǎng)友 xeckr ：Phi-4 的表現(xiàn)超出了它的參數(shù)量，令人印象深刻。
• 網(wǎng)友 jsight ：我對 Phi-4 的 140 億參數(shù)版本不太感興趣，這個規(guī)模已經(jīng)不算小了，而且我懷疑它在性能上不會比 Llama 3 或 Mistral 有明顯優(yōu)勢。

小編銳評 ：Phi-4 的發(fā)布無疑為小型語言模型領(lǐng)域帶來了新的希望。盡管一些用戶對其實際表現(xiàn)有所質(zhì)疑，但不可否認，Phi-4 在數(shù)學推理方面的突破為未來的小型語言模型發(fā)展提供了新的方向。隨著更多研究和實踐的展開，我們期待 Phi-4 能夠在實際應(yīng)用中展現(xiàn)出更多的潛力。

從零構(gòu)建高性能 LLM 推理引擎

https://andrewkchan.dev/posts/yalm-assets/

圖片

在當今的 AI 時代，大規(guī)模語言模型（LLMs）的應(yīng)用越來越廣泛，但其高效的推理實現(xiàn)卻是一個挑戰(zhàn)。Andrew Chan 在他的博客中詳細介紹了如何從零開始構(gòu)建一個高性能的 LLM 推理引擎，特別關(guān)注了使用 CUDA 進行優(yōu)化的方法。

關(guān)鍵技術(shù)點：

• 多線程利用 ：通過合理分配線程，充分利用 GPU 的計算資源，避免核心閑置。
• 矩陣乘法優(yōu)化 ：采用塊級并行和 warp 減法等技術(shù)，提高矩陣乘法的效率。
• 內(nèi)存訪問模式優(yōu)化 ：通過內(nèi)存訪問的優(yōu)化，減少內(nèi)存帶寬瓶頸，提高整體性能。
• FP16 量化 ：將浮點數(shù)從 FP32 量化到 FP16，減少內(nèi)存占用，進一步提升推理速度。

實現(xiàn)步驟：

• 初始實現(xiàn) ：使用簡單的線程分配方式，雖然實現(xiàn)了基本功能，但性能較低，甚至不如 CPU 后端。
• 塊級并行 ：每個塊處理一行，利用 warp 減法提高計算效率，性能提升到 51.7 tok/s。
• 內(nèi)核融合 ：將多個內(nèi)核融合在一起，減少內(nèi)存訪問次數(shù)，進一步提升性能至 54.1 tok/s。
• 內(nèi)存訪問優(yōu)化 ：通過共享內(nèi)存和塊級傳輸技術(shù)，優(yōu)化內(nèi)存訪問模式，性能提升到 56.1 tok/s。
• 長上下文優(yōu)化 ：針對長上下文生成進行優(yōu)化，特別是在注意力機制部分，性能進一步提升。
• FP16 量化 ：將 KV 緩存從 FP32 量化到 FP16，通過手動預(yù)取和循環(huán)展開等技術(shù)，最終達到 63.8 tok/s 的短上下文生成速度和 58.8 tok/s 的長上下文生成速度。

精選評論：

• 網(wǎng)友 reasonableklout： 非常感謝分享，這篇文章對我?guī)椭艽?！希望未來能看到更多類似的深度技術(shù)文章。
• 網(wǎng)友 sakex： 很棒的文章！下一步建議探討集體矩陣乘法和分片技術(shù)。
• 網(wǎng)友 fancyfredbot： 這篇文章沒有提到如何利用張量核心和 wgmma 指令，這些技術(shù)對于達到峰值性能非常重要。
• 網(wǎng)友 diego898： 有沒有類似的內(nèi)容可以用 Python 實現(xiàn)？希望找到一個概念完整且簡潔的教程。
• 網(wǎng)友 saagarjha： __shfl_down 是否已經(jīng)不再推薦使用，因為它可能會導致 warp 同步問題？
• 網(wǎng)友 guerrilla： 這類項目需要哪些先決條件？我在大學時學過 ANN 和反向傳播，但對許多架構(gòu)術(shù)語不太熟悉。

小編銳評 ：這篇文章深入淺出地講解了如何從零構(gòu)建高性能的 LLM 推理引擎，非常適合對 GPU 優(yōu)化感興趣的開發(fā)者和技術(shù)愛好者。通過實際代碼示例和詳細的性能分析，讀者可以輕松理解和應(yīng)用這些技術(shù)。希望未來能看到更多類似的技術(shù)分享！

Cyphernetes: 用于 Kubernetes 的查詢語言

https://cyphernet.es/

Cyphernetes 是一種專為 Kubernetes 設(shè)計的查詢語言，旨在簡化 Kubernetes 資源的查詢和操作。Kubernetes 作為一個復雜的容器編排系統(tǒng)，擁有龐大的資源模型和 API，但現(xiàn)有的查詢工具往往在大規(guī)模集群中表現(xiàn)不佳。Cyphernetes 通過引入類似于 Neo4j 的 Cypher 查詢語言，使得查詢 Kubernetes 資源變得更加直觀和高效。

亮點功能：

• 圖查詢語言 ：Cyphernetes 使用 Cypher 語法，這是一種廣泛應(yīng)用于圖數(shù)據(jù)庫的查詢語言。通過這種方式，用戶可以輕松地查詢和操作 Kubernetes 資源，特別是那些具有復雜依賴關(guān)系的對象。
• 高性能 ：與傳統(tǒng)的查詢工具（如 k9s）相比，Cyphernetes 在大規(guī)模集群中表現(xiàn)出色，不會對 Kubernetes API 服務(wù)器造成過大的負擔。
• 可視化 ：Cyphernetes 還提供了一種將 Kubernetes 對象模型可視化的功能，使得資源關(guān)系更加清晰明了。

社區(qū)反饋：

• 網(wǎng)友 alpb： 在多年的生產(chǎn)環(huán)境中，我從未見過任何查詢 kube-apiserver 的工具能在數(shù)千節(jié)點的集群中穩(wěn)定工作。即使是像 k9s 這樣的流行工具，也會因為昂貴的查詢（如列出所有 pod）而導致 API 服務(wù)器崩潰。如果真的需要這些查詢能力，建議自己構(gòu)建數(shù)據(jù)源（例如，使用控制器監(jiān)聽對象并將數(shù)據(jù)存儲在 SQL 數(shù)據(jù)庫中），這樣長期來看會更好。
• 網(wǎng)友 danpalmer： 雖然我不反對用更好的工具替換 jq/jsonpath，但我不明白為什么這不是 SQL？Cyphernetes 幾乎支持與 SQL 相同的語義，而 SQL 已經(jīng)是一種成熟的查詢語言。項目的目的是使 Kubernetes 更易于查詢，而不是發(fā)明新的查詢語言。
• 網(wǎng)友 jeremya： 我一直喜歡 Neo4j 團隊為圖數(shù)據(jù)查詢創(chuàng)建的 Cypher 語言。Kubernetes API 對象之間的關(guān)聯(lián)關(guān)系非常適合應(yīng)用這種查詢方式。
• 網(wǎng)友 multani： 我推薦使用 Steampipe 進行類似的查詢。Steampipe 實質(zhì)上是 PostgreSQL，可以查詢多種 API，包括 Kubernetes。它支持多集群透明查詢、自定義資源定義和緩存機制，非常強大且靈活。

小編銳評 ：Cyphernetes 的推出無疑為 Kubernetes 生態(tài)系統(tǒng)帶來了新的可能性。通過圖查詢語言，用戶可以更直觀地理解和操作復雜的 Kubernetes 資源。雖然一些社區(qū)成員對其性能和必要性提出了質(zhì)疑，但不可否認，Cyphernetes 在特定場景下確實能提供更高效的解決方案。如果你正在尋找一種新的方式來管理和查詢 Kubernetes 資源，不妨試試 Cyphernetes，看看它是否能滿足你的需求。