蘋果&SpaceX前工程師分享o1使用心得，奧特曼、Brockman都轉(zhuǎn)發(fā)了。

劃重點(diǎn)：

o1已經(jīng)不是聊天模型了，需要全新的使用方法。

奧特曼還跑去挖墳作者Ben Hylak數(shù)天前的“自我打臉”評(píng)論，稱“觀察o1的口碑變化、以及人們學(xué)習(xí)如何使用它很有趣”。

Ben Hylak曾任SpaceX軟件工程師、蘋果VisionOS人機(jī)交互設(shè)計(jì)師，目前在創(chuàng)業(yè)為AI產(chǎn)品提供分析服務(wù)。

具體來說，Ben在o1 pro推出滿血$200/月版本的第一天就交錢了，整整測試了一天后得出結(jié)論：它真的很糟糕！

• 每次提問都要等待5分鐘
• 會(huì)輸出自相矛盾的建議
• 沒有要求但總是會(huì)回復(fù)架構(gòu)圖+優(yōu)勢/劣勢列表

Ben把糟糕的體驗(yàn)發(fā)在網(wǎng)上后，很多人表示同感。但有趣的是，也有人強(qiáng)烈反對(duì)。

他開始與持不同觀點(diǎn)的討論，然后意識(shí)到原來是自己的方法完全錯(cuò)了。

我還在把o1當(dāng)聊天模型來用，但o1已經(jīng)不是聊天模型了。

現(xiàn)在，Ben已經(jīng)從討厭o1，轉(zhuǎn)變成了每天都在用它解決最重要的問題。

像對(duì)待新員工一樣對(duì)待o1

如果說o1不是聊天模型了，那它現(xiàn)在是什么？

Ben認(rèn)為它就像一個(gè)“報(bào)告生成器”。如果你給它足夠的上下文，并告訴它你想要輸出什么，它通常會(huì)一次性找到解決方案。

OpenAI官方其實(shí)給了一個(gè)簡單的o1使用建議，但并不完善。

Ben的建議包括：

提供海量背景信息

不管你現(xiàn)在是怎么理解“海量”的，再乘以10倍。

當(dāng)使用GPT-4o或Claude 3.5等聊天模型時(shí)，通常會(huì)從一個(gè)簡單的問題和一些背景信息開始。如果模型需要更多背景信息，它通常會(huì)要求你繼續(xù)提供。

這就是聊天模型的本質(zhì)，從一來一回的交互中不斷完善輸出。

但o1只會(huì)從表面上回答你提出的問題，不會(huì)試圖從你那里獲取背景信息。所以需要反過來將盡可能多的上下文主動(dòng)發(fā)給它。

即使只是問一個(gè)簡單的代碼工程問題，應(yīng)該提供：

• 解釋所有你嘗試過但不起作用的方案
• 一份完整的數(shù)據(jù)庫schemas
• 解釋一下你的公司是做什么的，規(guī)模多大，定義內(nèi)部術(shù)語

總而言之，就像對(duì)待新員工一樣對(duì)待o1。

描述你想要什么，而不是指導(dǎo)它如何做

對(duì)于大多數(shù)聊天模型，我們都會(huì)告訴模型希望他如何回復(fù)模式，比如“扮演一位軟件工程專家，請(qǐng)仔細(xì)思考”。

但在o1上有效的方法正相反，告訴它你需要什么，而不是指導(dǎo)它如何去做。

Ben把o1的提示詞模板分成4部分：

• 目標(biāo)放在最前面
• 詳細(xì)指定輸出格式
• 可以附加需要檢查的注意事項(xiàng)
• 海量相關(guān)的背景信息

最后，o1的輸出有一種學(xué)術(shù)/商業(yè)報(bào)告的風(fēng)格。Ben認(rèn)為太多的推理token讓它很難擺脫這種風(fēng)格

他曾試圖讓o1來完成這篇文章，但經(jīng)過多次嘗試，只能得到非常平淡的學(xué)生作業(yè)。

One More Thing

在奧特曼的轉(zhuǎn)發(fā)推文中，有人套出了最新消息：

o3暫時(shí)還不會(huì)向用戶開放，o3-mini會(huì)先推出，而且時(shí)間不遠(yuǎn)了。

o3-mini會(huì)先提供給Plus訂閱用戶使用，API的定價(jià)OpenAI內(nèi)部還沒確定，但不會(huì)很貴。

參考鏈接：
[1]https://www.latent.space/p/o1-skill-issue。

[2]https://x.com/sama/status/1877814065088663763。

[3]https://x.com/gdb/status/1878489681702310392。