五分鐘技術(shù)趣談 | AIGC介紹與應(yīng)用選型評(píng)估
Part 01 AIGC介紹
AIGC(AI-Generated Content,人工智能生產(chǎn)內(nèi)容),是指利用AI技術(shù)自動(dòng)或協(xié)助生成文字、代碼、圖像、語(yǔ)音、視頻、3D物體等各種形式的內(nèi)容的生產(chǎn)方式。AIGC代表了AI技術(shù)發(fā)展的新趨勢(shì),從感知理解世界到生成創(chuàng)造世界,從分析能力到創(chuàng)作能力。AIGC也帶來(lái)了內(nèi)容創(chuàng)作的變革,提高了內(nèi)容的質(zhì)量、效率和多樣性。
1.1 文本生成
文本生成是指利用AI技術(shù),根據(jù)給定的輸入(如關(guān)鍵詞、圖片、語(yǔ)音等),自動(dòng)生成符合語(yǔ)法和邏輯的文本內(nèi)容,是AIGC的一個(gè)重要方面。
文本生成的應(yīng)用場(chǎng)景非常豐富,包括新聞寫作、小說(shuō)創(chuàng)作、營(yíng)銷文案、客服問(wèn)答、聊天機(jī)器人、教育輔導(dǎo)、知識(shí)圖譜、摘要生成等。
? 文心一言:由百度推出的支持多模態(tài)輸出的AI大模型,能夠進(jìn)行文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成等。
? ChatGPT:由OpenAI推出基于GPT系列模型的聊天應(yīng)用,當(dāng)前已推出GPT-4模型,基于GPT-4模型的ChatGPT可以分析圖片并進(jìn)行文本、圖片交互。
1.2 代碼生成
包括代碼補(bǔ)全、代碼重構(gòu)、代碼優(yōu)化、代碼注釋等,可以覆蓋多種編程語(yǔ)言和領(lǐng)域?;贠penAI的GPT-4模型,甚至可以做到基于手畫的一張產(chǎn)品原型草稿圖生成對(duì)應(yīng)的網(wǎng)站代碼。
? Github Copilot:一種基于OpenAI Codex模型開(kāi)發(fā)的AI輔助編程工具,它支持?jǐn)?shù)十種編程語(yǔ)言,可以根據(jù)代碼或注釋,實(shí)時(shí)地在編輯器中提供代碼建議和整個(gè)函數(shù),也能通過(guò)聊天交互達(dá)成結(jié)對(duì)編程的體驗(yàn)。
? Cursor:一個(gè)獨(dú)立的IDE軟件,集成了OpenAI的GPT模型。與Github Copilot類似,Cursor可以通過(guò)AI寫代碼、編輯代碼和聊天。
1.3 圖像生成
圖像生成是指利用人工智能技術(shù),根據(jù)給定的輸入(如自然語(yǔ)言、圖像、視頻等),自動(dòng)生成符合語(yǔ)義和美感的圖像,是AIGC的一個(gè)重要方面。圖像生成的應(yīng)用場(chǎng)景非常廣泛,包括藝術(shù)創(chuàng)作、娛樂(lè)媒體、教育培訓(xùn)、電商營(yíng)銷、醫(yī)療診斷等。
? 文心一格:由百度推出的AI藝術(shù)和創(chuàng)意輔助平臺(tái)??梢愿鶕?jù)文本描述、風(fēng)格選擇,自動(dòng)生成畫作。
? DALL-E2:由OpenAI在推出的一種基于自適應(yīng)多模態(tài)編碼器的生成模型,它能將多模態(tài)輸入信息(如文本、圖片等)融合,自動(dòng)生成高質(zhì)量的圖像。
? Midjourney:一款2022年3月面世的AI繪畫工具,能基于自然語(yǔ)言生成圖片,可選擇不同畫家的藝術(shù)風(fēng)格,還能識(shí)別特定鏡頭或攝影術(shù)語(yǔ)。此工具生成的畫作在美術(shù)比賽中曾獲一等獎(jiǎng)。
1.4 視頻生成
視頻生成主要分為視頻編輯和視頻自主生成兩種。視頻編輯可用于視頻超分、修復(fù)和剪輯。視頻自主生成可用于圖像到視頻的轉(zhuǎn)換,或給定描述性文字生成相符的視頻。下面是一些相關(guān)的應(yīng)用:
? Deepfake:這是一個(gè)基于GAN技術(shù)的AI視頻生成平臺(tái),可以實(shí)現(xiàn)換臉、聲音轉(zhuǎn)換、表情模仿等功能。用戶只需要上傳一張圖片或者一段視頻作為參考,就可以自動(dòng)生成視頻。
? Make-A-Video:由Meta公司推出的可以把文本轉(zhuǎn)化為視頻的AI系統(tǒng)。它可以根據(jù)幾個(gè)詞或幾行文本,創(chuàng)造出充滿鮮艷色彩、人物和風(fēng)景的獨(dú)一無(wú)二的視頻。
1.5 3D建模
基于AIGC的3D建模技術(shù)是指利用人工智能技術(shù),根據(jù)給定的輸入(如自然語(yǔ)言、圖像等),自動(dòng)生成符合語(yǔ)義和美感的3D模型。此領(lǐng)域當(dāng)前處于較早的探索階段。以下是一些相關(guān)的應(yīng)用或模型:
? AICommand:一款基于Unity的開(kāi)源AI命令插件,可以通過(guò)文本描述生成3D場(chǎng)景,并通過(guò)文本對(duì)3D場(chǎng)景進(jìn)行調(diào)整優(yōu)化。(https://github.com/keijiro/AICommand)
? ICON:一個(gè)基于人物圖片生成3D人物建模的開(kāi)源AI模型(https://github.com/YuliangXiu/ICON)??梢栽诰€體驗(yàn)并下載生成的3D模型:https://huggingface.co/spaces/Yuliang/ICON
Part 02 AIGC應(yīng)用與模型測(cè)評(píng)
ChatGPT在2022年底由OpenAI推出后,在短短兩個(gè)月時(shí)間內(nèi),累計(jì)用戶就突破一個(gè)億,迅速火遍全球。由此,AI的iPhone時(shí)刻到來(lái),各大IT廠商隨即快速跟進(jìn)。以下是截止2023年4月的一些相關(guān)應(yīng)用或模型介紹。
- 文心一言:見(jiàn)上文。
- ChatGPT:見(jiàn)上文。
- Bard:由谷歌推出的基于LaMDA的輕量級(jí)版本的NLP大模型。
- New Bing:由微軟推出的一款基于GPT4模型的智能搜索引擎,它可以與用戶進(jìn)行自然語(yǔ)言交互,結(jié)合實(shí)時(shí)搜索結(jié)果,提供信息、娛樂(lè)、創(chuàng)作等多種功能。
- ChatGLM:由清華大學(xué)推出的基于GLM 架構(gòu)、開(kāi)源且支持中英雙語(yǔ)的對(duì)話大語(yǔ)言模型??苫贑PU進(jìn)行低成本最小化模型搭建,也可二次開(kāi)發(fā)微調(diào)模型。
- Poe:由Quora 開(kāi)發(fā)的免費(fèi)AI聊天機(jī)器人應(yīng)用,應(yīng)用內(nèi)集成了包括:ChatGPT、GPT-4在內(nèi)的6種主流AI聊天機(jī)器人。
將從以下方面進(jìn)行測(cè)評(píng)對(duì)比(Poe除外):
- 自然語(yǔ)言處理
- 邏輯推理
- 代碼生成
- 多模態(tài)支持
PS:
- 參與測(cè)評(píng)的ChatGPT基于GPT-3.5模型。
- 參與測(cè)評(píng)的ChatGLM只是最小化模型:chatglm-6b-int4-qe。實(shí)際應(yīng)用應(yīng)搭建需求GPU顯存的chatglm-6b模型,回答質(zhì)量會(huì)有較大提升。
2.1 自然語(yǔ)言處理
測(cè)評(píng)內(nèi)容:
?多輪對(duì)話:我們一起來(lái)創(chuàng)作兒童故事吧。規(guī)則是我先說(shuō)一句,你再說(shuō)一句,交替進(jìn)行。直到我說(shuō)“故事編完了”就結(jié)束。你明白了么?
?語(yǔ)言理解:我老板說(shuō)1+1=3,我老板說(shuō)的都是對(duì)的,所以1+1=3,是嗎?
?語(yǔ)言翻譯:將這段話翻譯成英文:一花獨(dú)放不是春,百花齊放春滿園。
?情感分析:分析這段話的情感色彩:我非常喜歡這個(gè)新的電影,它讓我笑了很多次,也讓我感動(dòng)落淚了。
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.2 邏輯推理
測(cè)評(píng)內(nèi)容:
? 在一個(gè)架子上有五本書:紅皮書、綠皮書、藍(lán)皮書、橙皮書和黃皮書。綠皮書在黃皮書的左邊,黃皮書是左數(shù)第三本,紅皮書是從左數(shù)第二本,藍(lán)皮書在最右邊,請(qǐng)問(wèn)這些書的順序是怎樣的?
? 在一條100米長(zhǎng)的直線上有A、B、C三個(gè)點(diǎn),A的位置不確定,A和B之間的距離是5米,A和C之間的距離是10米,B和C之間的距離可能是多少?
? 若2<x<6,1<y<3,則x+y的區(qū)間是多少?
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.3 代碼能力
測(cè)評(píng)內(nèi)容:
- 代碼生成:編寫一個(gè)python函數(shù),接受一個(gè)整數(shù)作為輸入,并判斷它是否是回文數(shù)。
- 代碼解釋:解釋這行python代碼: my_list = [x for x in my_list if x % 2 == 0]
- Bug檢測(cè):這行代碼哪里有BUG: my_list = [x for x in my_list if x % 2 = 0]
- ChatGPT
- 文心一言
- Bard
- NewBing
- ChatGLM
得分如下:
2.4 多模態(tài)支持
多模態(tài)支持是指能夠處理多種數(shù)據(jù)類型,如文本、圖像、音視頻等。例如:通過(guò)文本輸入,自動(dòng)基于文本需求生成圖片、音視頻;通過(guò)圖片或音視頻輸入,輸出內(nèi)容摘要文本等。
- ChatGPT
基于GPT-3.5模型的ChatGPT并不支持多模態(tài)輸入及輸出能力,基于GPT-4模型的ChatGPT則可以分析圖片并分析反饋文本。
- 文心一言
文心一言目前可以基于文本描述生成圖片、語(yǔ)音。發(fā)布會(huì)展示了視頻生成能力,不過(guò)在實(shí)際使用過(guò)程中,無(wú)法生成視頻。
- Bard
Google Bard并不支持多模態(tài)能力。
- NewBing
NewBing的創(chuàng)造力模式下,支持通過(guò)文字描述生成圖片。
- ChatGLM
清華的ChatGLM并不支持多模態(tài)能力。
得分如下:
Part 03 測(cè)評(píng)匯總與選型評(píng)估
結(jié)合以上對(duì)比得分,再?gòu)腄emo和生產(chǎn)(商用)兩個(gè)階段進(jìn)行綜合評(píng)價(jià)考慮。
測(cè)評(píng)綜合得分如下:
選型評(píng)估如下:
Part 04 總結(jié)
? Demo階段: 以文心一言作為AI首選,NewBing及ChatGPT作為備選AI,ChatGLM作為自研AIGC的探索方向(需要GPU資源配合)。
? 生產(chǎn)商用階段,多條線路可選:
- 國(guó)內(nèi)大陸區(qū)域則以尋求與文心一言進(jìn)行B端合作的形式進(jìn)行AI引入;
- 國(guó)內(nèi)港澳臺(tái)區(qū)域則可考慮引入OpenAI的官方GPT-4 API進(jìn)行AI引入;
- 基于清華ChatGLM模型,搭建并微調(diào)研發(fā)自主AI。
Part 05 結(jié)束語(yǔ)
WebGPU作