OpenAI CPO 談做AI產(chǎn)品的幾個理念,深受啟發(fā)! 精華
前言
在微博看到有i陸三金大佬發(fā)了OpenAI、Anthropic 兩家公司的首席產(chǎn)品官的同臺訪談,看倆人討論如何在生成式 AI 的不確定性下做產(chǎn)品?!?/p>
提取了一下要點,有興趣可以去看原視頻:
- 在模型被訓練出來之前,每個人都不知道模型會怎么樣,會涌現(xiàn)哪些能力,研究團隊也不知道,它的性能是 60%、90% 還是 99% ,而基于每一種情況去構建產(chǎn)品又很不一樣。
- OpenAI CPO:很多事情在 60% 的情況下已經(jīng)可以做,只是你要針對性的做產(chǎn)品。
- Anthropic CPO :與客戶進行試點項目時,同一天會收到兩家公司的反饋,一家公司會說,這完全解決了我們的問題,我們已經(jīng)被困擾三個月了;另一家公司會說,完全沒作用,比其他模型還糟糕。
- 兩人都提到了現(xiàn)在的模型不是智能受到了限制,而是評估受到了限制。Claude 實際上比較擅長評估,Anthropic 在面試產(chǎn)品的時候,會要求寫一段提示詞,來去做評估。寫評估正在成為產(chǎn)品經(jīng)理的核心技能。
- Anthropic CPO :AI 產(chǎn)品功能目前取決于你在評估和提示方面的表現(xiàn)。
OpenAI 建立了一個訓練營,讓每個產(chǎn)品經(jīng)理學習如何撰寫評估,以及好的評估與壞的評估之間的區(qū)別?!?/p>
- 除了評估,產(chǎn)品經(jīng)理還應該掌握哪些技能:Anthropic CPO 認為產(chǎn)品經(jīng)理應該要會做原型;OpenAI CPO 則認為 PM 應該去了解技術。
- OpenAI CPO:過去 25 年,我們在一種高度確定性下做軟件產(chǎn)品,固定輸入會出現(xiàn)固定的輸出,但現(xiàn)在這一點不復存在了。?
- OpenAI CPO 提到了人們有多快適應新技術,他舉了自己乘坐 Waymo 的例子,前 5 分鐘,替自動駕駛擔心,能不能開好;5-10 分鐘,哇,我生活在未來;10 分鐘之后,開始覺得無聊。他說 ChatGPT 才 2 年,但是我們回頭再看的時候,會覺得以前的東西都是垃圾。
- 展望未來,Anthropic CPO 認為趨勢是模型會越來越主動,提前幫用戶準備資料、日程之類的;更加異步,就像是 o1 會花更長時間去做一些更復雜的任務,而不是實時回答。OpenAI CPO 則補充了多模態(tài)交互,而不僅僅是文本交互。
前幾天接到一個任務,需要把近5年湖北省國民經(jīng)濟和社會發(fā)展統(tǒng)計公報中涉及的指標名稱、指標數(shù)值、指標單位提取出來形成一張表格,供指標監(jiān)測和數(shù)據(jù)分析用。
首先看下統(tǒng)計公報的內容結構,分綜合、農業(yè)和工業(yè)等板塊分別闡述統(tǒng)計指標情況?!?/p>
以前我們遇到這種工作任務,一般兩種方案,一是找人手動一個個找到并錄入到表格中,二是嘗試寫代碼來提取,但因為每個指標的的位置、指標單位不固定,不好實現(xiàn),效果還不一定好。兩種方案處理起來都費時費力?!?/p>
直接在線使用通用大模型
首先把頁面打印成pdf格式的文件?!?/p>
然后編寫提示詞,參考前一篇文章提到的結構化提示詞?!?/p>
需要下面這個提示詞的可以在公眾號后臺輸入提示詞關鍵詞?!?/p>
# Role:國民經(jīng)濟和社會發(fā)展統(tǒng)計公報提取助手
## Background : 我是一個數(shù)據(jù)分析工程師,需要你幫我提取政府統(tǒng)計公告中的指標數(shù)據(jù)到表格中,以便供我進一步分析。
## Profile:
- author: cc
- version: 0.1
- language: 中文
- description: 我是一位國民經(jīng)濟和社會發(fā)展統(tǒng)計公報提取助手, 專注于提取指標信息.
## Goals:
- 你需要根據(jù)用戶提供給你的文本,提取其中的指標名稱、數(shù)值、指標單位。
- 輸出的提取信息必須準確、清晰。
## Constrains:
1. 不能偷懶,要全部提取完;不能偷懶,要全部提取完;不能偷懶,要全部提取完
2. 對于不在用戶輸入的文件中的指標信息, 不要捏造
3. 要嚴格區(qū)分指標名稱、指標數(shù)值、指標單位,分成三列分別展示,不要把三者放一列進行展示,如果指標不存在單位,請用"-"表示
## Skills:
1. 熟悉政府統(tǒng)計公報中的內容
2. 能分清政府統(tǒng)計公報文本中哪些是指標名稱、指標數(shù)值和指標單位
## Examples :
輸入文本:""" 初步核算,2023年全省生產(chǎn)總值為55803.63億元;年末全省常住??5838萬?,其中,城鎮(zhèn)3822萬?,鄉(xiāng)村2016萬?。城鎮(zhèn)化率達到65.47%。。"""
提取輸出:
指標名稱 指標數(shù)值 指標單位
生產(chǎn)總值 55803.63 億元
常住?? 5838 萬人
城鎮(zhèn)人口 3822 萬人
鄉(xiāng)村人口 2016 萬人
城鎮(zhèn)化率 65.47 %
## Workflows:
1.讀取文件所有內容,理解哪些是指標
2.讓我們一步一步思考,結合上下文,準確提取指標名稱、指標數(shù)值、指標單位
3.以表格的形式進行輸出,表頭為序號、指標名稱、指標數(shù)值、指標單位
把文件和提示詞一起輸入
得到結果如下,我檢查了下開頭和結尾,結果是比較準確的。但是中間有遺漏,大模型偷懶了,也可能是一次性讀不了這么多內容。
隨后嘗試了下kimi,發(fā)現(xiàn)一次提取不全,得繼續(xù)追問,才能提取完整?!?/p>
復制到Excel,檢查一下,就搞定了~,重復以上動作5次,五年的數(shù)據(jù)就提取好了??偣泊蟾庞昧瞬坏?0分鐘?!?/p>
官方要是有一個導出成表格的插件就更好了,復制到excel的操作也免了?!?/p>
用扣子工作流來實現(xiàn)上述需求
既然官方?jīng)]有,那么就折騰一下,借助扣子搭建一個工作流,實現(xiàn)直接到飛書表格的效果。大概可以分成以下步驟:
- 解析上傳的PDF文件的文本信息
- 調用大模型提取文本中的指標信息
- 將指標數(shù)據(jù)錄入到飛書表格中
下圖是我使用扣子構建的工作流
從圖中可以看出,在上傳一個pdf文件后,首先使用官方文件讀取插件將文件內容解析出來。
第二步是通過分段策略將文本分成多個段落,這樣做是為了工作流的健壯性,如果文本太長,會超過大模型上下文長度導致數(shù)據(jù)提取不全。
第三步是調用飛書excel插件進行表格和工作簿的創(chuàng)建以及表頭的插入?!?/p>
第四步是基于段落來進行指標提取以及錄入工作。該步驟通過遍歷段落列表
在第四步中,主要針對每個段落進行指標提取操作,將結果通過對話的方式反饋給我們。同時,將指標提取結果結構化,然后調用飛書插件將數(shù)據(jù)插入到工作簿中?!?/p>
第五步等到所有的段落都提取完成,將飛書表格的鏈接地址嵌入到回答中反饋給我們。至此,指標提取工作完成?!?/p>
大家可以去扣子上使用試試,雖然還不太完善
訪問地址:??https://www.coze.cn/store/agent/7436388189331472394?bid=6ecqv4o600g1k??
大模型做圖片內容提取
早上,老婆丟給我一張圖,說一個表格文件找不到了,只有一張截圖?!?/p>
直接給到大模型,請?zhí)崛D片中的內容,輸出成表格形式
復制到wps,搞定~
AI改變生活,AI節(jié)省時間~
生成logo
起因是公眾號改了名字,改成了AI思與行,所以想換個新頭像?!?/p>
前幾天看到一個國外文生圖網(wǎng)站生成的圖像還不錯,于是拿來試試
地址:https://ideogram.ai/t/explore
提示詞先想好,然后用大模型翻譯成英文
第一次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism.
第二次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. AI self-media topic.
第三次生成的提示詞:I want to create a logo for my AI self-media, with a style that is simple, abstract, and has a touch of technology and futurism. The slogan for the AI self-media is "Thought and Action," reflecting this theme.
第四次生成的提示詞:I want to create a logo , with a style that is simple, abstract, and has a touch of technology futurism、Cyberpunk. The slogan is "Thought and Action," reflecting this theme.
最后選了第三次生成的第3張和第四次生成的第3張。試了下效果,選這張作為全平臺的頭像。
和同事討論了下,以一般設計師的水平,應該要設計蠻久,效果還不一定好
大模型不會撂挑子,任勞任怨,不好看再生成一版就好了,要是換成公司設計師,你試試
感受
過去 25 年,我們在一種高度確定性下做軟件產(chǎn)品,固定輸入會出現(xiàn)固定的輸出,但現(xiàn)在這一點不復存在了。對這句話深表認同,以前做傳統(tǒng)產(chǎn)品,每個功能都被提前設計好,用戶點哪個功能,會出現(xiàn)什么結果,都是有預期和可確定的?,F(xiàn)在圍繞大模型做產(chǎn)品,是不確定大模型的輸出的。
就像現(xiàn)在智能駕駛上大模型一樣,以往智能駕駛基于人工編寫的規(guī)則進行自主駕駛,呈現(xiàn)出不靈活、不類人的缺點,武漢老百姓給百度蘿卜快跑取名苕(傻)蘿卜,就是這個原因?!?/p>
上面提取公報中指標信息的例子,在大模型出來以前要實現(xiàn)類似功能會非常困難,要么編寫復雜的規(guī)則代碼做提取,要么訓練一個專門處理這種任務的小模型,現(xiàn)在有了大模型,可以解決之前很難用傳統(tǒng)技術解決的問題。
找到大模型擅長做的事情,知道大模型的特點和能力邊界
比如一方面要利用它的生成能力,比如上面說的文生圖的例子,可能大模型越有創(chuàng)意、越發(fā)散越好?!?/p>
但是對于一些to b應用場景,在追求準確性和嚴肅性的背景下,要對模型的能力做相應的收斂和限制。
最后產(chǎn)品經(jīng)理在設計AI產(chǎn)品時,應該自己嘗試,只有真正動手,才能有深刻感受?!?/p>
參考資料:
??https://weibo.com/1706699904/5098051490812296 ??
??https://www.youtube.com/watch?v=IxkvVZua28k ??
本文轉載自 ??AI 思與行??,作者: cd
