本文整理自趣丸科技資深研發(fā)工程師阮陳貴在【W(wǎng)OT2023·深圳站】大會上的主題分享，更多精彩內(nèi)容及現(xiàn)場PPT，請關(guān)注51CTO技術(shù)棧公眾號，發(fā)消息【W(wǎng)OT2023PPT深圳】即可直接領(lǐng)取。

嘉賓 | 阮陳貴

編輯 | 張誠

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

2023年11月24日-25日，51CTO主辦的“WOT全球技術(shù)創(chuàng)新大會2023·深圳站”成功召開。在《AIGC賦能業(yè)務(wù)》專題論壇中，趣丸科技資深研發(fā)工程師阮陳貴帶來了《AIGC在趣丸科技廣告素材場景下賦能業(yè)務(wù)的探索實踐》主題分享，詳細介紹了AIGC技術(shù)在多模態(tài)素材上發(fā)揮的作用，AIGC如何為廣告投放業(yè)務(wù)賦能，以及趣丸科技的AIGC的實踐應(yīng)用。

1、AIGC賦能廣告行業(yè)數(shù)據(jù)營銷和創(chuàng)意場景

廣告行業(yè)擁有巨大的市場份額。艾瑞公布的數(shù)據(jù)顯示，廣告市場占總體GDP的1%，并且還在持續(xù)地增長。AIGC的興起，將會對數(shù)字營銷內(nèi)容和創(chuàng)意場景進行賦能，包括文生文、文生圖、音頻、視頻、跨模態(tài)等。

阮陳貴在分享中表示，AIGC對應(yīng)的文案、圖片、視頻、音頻，能夠非常好地與廣告匹配，是天然為廣告業(yè)務(wù)而生。對于多模態(tài)技術(shù)，則能夠更好地匹配廣告業(yè)務(wù)。為此，趣丸科技開展了AIGC在廣告行業(yè)中的相關(guān)探索。

據(jù)介紹，AIGC在廣告業(yè)務(wù)的深層應(yīng)用中，生成圖片和內(nèi)容理解是比較重要的兩個方面。談到內(nèi)容理解，阮陳貴認為，把圖片、文本、視頻等內(nèi)容提供給AI，AI不但能夠幫助人們對圖片進行解析，還能夠理解文本中的情感信息、理解視頻中音頻所包含的信息等等，通過AI整理形成人們所需要的內(nèi)容。

洞察生成內(nèi)容，反向作用再去生成內(nèi)容，這個過程便是趣丸科技對AIGC在內(nèi)容理解更深層次的應(yīng)用。

2、趣丸科技的程序化廣告投放與素材特點

阮陳貴表示，產(chǎn)品投放包括準備期、測試期、拓量期、穩(wěn)定期、衰減期五個階段，涵蓋廣告投放的整個生命周期。素材與廣告是一體化的，理解素材的業(yè)務(wù)特點就是了解廣告投放生命周期的過程。由于廣告投量越來越大，投放玩法越來越多樣，這就需要大量的素材，包括文本、圖片、視頻等素材。因此，素材在廣告投放生命周期中扮演著重要的作用。

基于此，趣丸科技開發(fā)了名為“起飛”的智能投放系統(tǒng)，從基礎(chǔ)版本到智能化，再到素材智能化，該系統(tǒng)進行了五年時間的持續(xù)迭代。

圖片

阮陳貴表示，我們希望能夠把所有素材用智能化的方式搭建廣告，并不斷地觀察數(shù)據(jù)是不是符合預(yù)期，并與媒體進行交互，進行轉(zhuǎn)化管理。通過打造智能化生成素材——素材監(jiān)測——媒體效果反饋，將信息與媒體資源進行打通與整合，并形成閉環(huán)，最終作用于素材本身。

趣丸科技將素材方向分為信息流廣告和新媒體廣告。所謂信息流廣告，就是在朋友圈中看到的各種硬廣和軟廣。大部分硬廣會把視頻、封面、文本組成一個創(chuàng)意包進行展示，并不會指定特定內(nèi)容。新媒體廣告是指那些小眾或者更加垂直領(lǐng)域的內(nèi)容，這類廣告會通過推薦產(chǎn)品的形式來吸引用戶。

隨著產(chǎn)品體量越來越大，素材需求量也變得更大。而素材制作過程繁瑣，也帶來了人手不足和產(chǎn)能不足的問題。除此之外，還會出現(xiàn)大量歷史素材無法高效利用的問題。如何利用AIGC解決這些問題，成為趣丸科技重點探討的方向。

3、基于AIGC技術(shù)的廣告素材生成產(chǎn)品方案

從素材數(shù)量上進行區(qū)分，趣丸科技將其分為常態(tài)化素材和探索素材。所謂常態(tài)化素材，就是能夠用固定范式進行歸納的素材形式。探索素材是原生類型素材、是指新的產(chǎn)品和新的投放模式。

阮陳貴認為，AIGC的突破點在于素材的結(jié)構(gòu)化。

為此，趣丸科技通過產(chǎn)品方案增強AIGC業(yè)務(wù)效果，并利用AIGC輔助生產(chǎn)，打通了內(nèi)容制作需求、素材收集、創(chuàng)意化生產(chǎn)、流程化生產(chǎn)、使用反饋的數(shù)據(jù)閉環(huán)。一方面，對于相對固定范式的內(nèi)容生產(chǎn)，實現(xiàn)了全自動化、多線程操作，大幅提升了效率；另一方面，通過引入AIGC輔助人工設(shè)計師創(chuàng)作，幫助設(shè)計師完成元素材創(chuàng)作，實現(xiàn)了AIGC優(yōu)化拓展；最后，形成素材元素采拆解能力，實現(xiàn)了元素級別的數(shù)據(jù)洞察。

圖片

據(jù)介紹，起飛系統(tǒng)在集合了AIGC能力的同時，擁有獨立的原子能力。它支持基于LLM的文生文，包括短文案、長篇文。具備內(nèi)容理解的AI混編能力和人臉融合優(yōu)化效果，擁有預(yù)設(shè)風格與Prompt的繪畫能力。目前，起飛系統(tǒng)已經(jīng)提供AI腳本生成、AI換臉、AI視頻混編、AI圖片混編、AI繪圖、短文案生成、長篇文生成等功能，并在持續(xù)更新中。

接下來，阮陳貴通過文生視頻、AI圖片混編、AI廣告文案詳細介紹了三大生成技術(shù)應(yīng)用。

在文生視頻生成技術(shù)上，從劇本創(chuàng)作到拍攝分鏡，再到后期處理，整個流程中AIGC無處不在。不僅需要AI能夠?qū)λ夭脑剡M行理解和標注，并能夠進行靈活的腳本結(jié)構(gòu)設(shè)置，還要對語義識別進行打分推薦。最后，要具備強大的后期處理能力，以此幫助用戶從繁復(fù)的工作解放出來。

圖片

在分鏡推薦技術(shù)方面，可以實現(xiàn)實現(xiàn)基于LLM&向量數(shù)據(jù)庫的AI分鏡推薦能力。并且，可以充分利用ASR、OCR等基礎(chǔ)技術(shù)識別素材中的音頻與文字內(nèi)容，輸入大語言模型進行標簽生成，與人工標記的標簽組合成視頻內(nèi)容摘要，通過向量化模型進行Embedding。最后，語義檢索（Retrieval）輸出目標分鏡，加入視頻混編流程。

圖片

據(jù)介紹，起飛系統(tǒng)已經(jīng)實現(xiàn)了1分鐘50+視頻產(chǎn)出、50%以上素材占比、ROI>2。阮陳貴表示，從研發(fā)到上線，我們就把所有成本都進行了核算。目前，在底層邏輯不變的情況下，一分鐘能夠生產(chǎn)50個視頻。當然，這也要看資源投入量，如果堆加CPU或GPU，還能夠生成更多視頻。

在接下來的時間里，阮陳貴詳細分享了AI圖片混編、AI廣告文案的生成技術(shù)應(yīng)用，這里不再過多介紹。

談及未來的挑戰(zhàn)與規(guī)劃，阮陳貴表示，目前趣丸科技已經(jīng)做到了元數(shù)據(jù)的素材洞察。未來，趣丸科技將重點探索所有數(shù)據(jù)與投放平臺整體數(shù)據(jù)之間的聯(lián)動，希望在優(yōu)化師提出需求時，讓系統(tǒng)清晰地告訴他們這個需求應(yīng)該用什么數(shù)據(jù)、用哪些片段、用哪幾幀，甚至用哪幾秒，讓廣告位投放達到最優(yōu)標準。

嘉賓介紹

阮陳貴曾就職于騰訊音樂娛樂集團，從事音樂類社交軟件后端服務(wù)研發(fā)。目前是趣丸科技廣告平臺技術(shù)負責人，負責程序化在線廣告投放系統(tǒng)架構(gòu)設(shè)計及AIGC在廣告創(chuàng)意素材應(yīng)用落地。2023年，阮陳貴主導(dǎo)項目“多模態(tài)AI數(shù)據(jù)應(yīng)用一站式管理平臺”，在中國信息通信研究院舉辦的關(guān)于“Data-centric AI以數(shù)據(jù)為中心的人工智能應(yīng)用案例”征集活動中被評為“優(yōu)秀案例”。此外，阮陳貴在音頻處理、社交應(yīng)用及廣告策略系統(tǒng)方面擁有8項發(fā)明專利。