6月13日，由中國電影電視技術(shù)學(xué)會主辦的“菁彩視界·智享未來”2024北京國際電視技術(shù)研討會在京舉辦。來自國家廣播電視總局、中央廣播電視總臺、全國多家廣播電視臺的領(lǐng)導(dǎo)、行業(yè)專家學(xué)者以及創(chuàng)新技術(shù)企業(yè)的500余名代表共襄盛會，共同推進“超清化、移動化、智能化”創(chuàng)新技術(shù)應(yīng)用發(fā)展。在開幕式暨主旨報告會上，華為受邀參加，華為云北京產(chǎn)品中心總經(jīng)理楊輝發(fā)表了《盤古大模型在傳媒領(lǐng)域的應(yīng)用探索》的主題演講，分享了華為云盤古大模型解決方案及其在傳媒領(lǐng)域的諸多應(yīng)用場景和實踐效果。

【2024ITTC 主旨報告會】

生成式AI，正在用技術(shù)重塑藝術(shù)創(chuàng)作

近年來，超高清視聽與5G、人工智能、虛擬現(xiàn)實等新一代信息技術(shù)深度融合創(chuàng)新發(fā)展，催生大量新場景、新應(yīng)用、新模式，成為千行百業(yè)數(shù)字化轉(zhuǎn)型的重要賦能力量。繪畫、雕塑、攝影、音樂、舞蹈、戲劇、文學(xué)和影視藝術(shù)等多種藝術(shù)形態(tài)的創(chuàng)作方式正在發(fā)生變化，生成式AI正在用技術(shù)重塑藝術(shù)創(chuàng)作。

在生成式AI時代，創(chuàng)作流程得以改變，以往需要長時間驗證和高門檻的創(chuàng)意過程，現(xiàn)在可以通過AI輔助快速生成內(nèi)容。例如，使用盤古多模態(tài)大模型，就可以實現(xiàn)以文生圖、以圖生圖甚至文生視頻和圖生視頻的功能。這降低了藝術(shù)創(chuàng)作的入門難度，使得只要有創(chuàng)意，任何人都能創(chuàng)作自己的藝術(shù)作品。

更多模態(tài)，多維感知，萬物理解，開啟AIGC新范式

相較于“文本理解世界”的大模型，盤古多模態(tài)大模型的優(yōu)勢在于能夠通過更多模態(tài)理解世界，如圖像、視頻、語音、3D、時序數(shù)據(jù)等。盤古多模態(tài)大模型的主要優(yōu)勢，還在于模型架構(gòu)穩(wěn)固且支持增量擴展，能夠輕松融入音頻、視頻等多種模態(tài)，并通過高效的模態(tài)對齊方式持續(xù)沉淀知識。增量擴展模態(tài)的開銷大幅全量訓(xùn)練，顯著降低成本。同時，模型能力多樣且不斷提升，涵蓋了基礎(chǔ)、高階和專家能力，支持多尺度視覺表征提取和高分辨率編碼器，滿足客戶各種模型開發(fā)需求。與此同時，還提供零代碼模型開發(fā)全流程工具，讓使用更加便捷。在訓(xùn)練和推理方面，追求持續(xù)降本增效，全棧AI自主創(chuàng)新，可確保模型量化效果降幅微小。

楊輝在主題演講中指出，盤古多模態(tài)大模型具有多個典型應(yīng)用場景，例如在內(nèi)容審核方面，如文本、圖片、音頻、視頻的全棧式審核，保障信息安全；在內(nèi)容創(chuàng)作上，輔助文案生成，提升創(chuàng)作效率；在知識問答和文檔助理場景下，提供準確的信息查詢和文檔處理服務(wù)；在城市治理和智慧醫(yī)療領(lǐng)域，發(fā)揮著數(shù)據(jù)分析和決策支持作用；在視覺問答、常識推理和色彩感知等視覺任務(wù)中表現(xiàn)優(yōu)秀；并能進行關(guān)系推理、數(shù)量感知以及空間推理等復(fù)雜的認知任務(wù)。此外，模型在遙感、視頻分析、行為識別、場景識別、實體識別以及OCR等方面均有涉及，顯示了其廣泛的應(yīng)用潛力。

在圖像生成方面，人工智能在藝術(shù)創(chuàng)作中展現(xiàn)出強大的創(chuàng)新力，包括概念注入、以圖生圖和以文生圖等多種形式。圖像理解是多模態(tài)全棧式內(nèi)容審核的關(guān)鍵部分，利用先進的計算機視覺(CV)技術(shù)和自然語言處理(NLP)技術(shù)，對文本、圖片、音頻、視頻和直播內(nèi)容進行全面審核。在影視工業(yè)生產(chǎn)中，AI世界模型正助力高真實感、低成本的虛擬拍攝，逐步替代綠幕和3D引擎技術(shù)，通過AI生成的虛擬內(nèi)容與實拍鏡頭融合，提供更加自然的演員表演環(huán)境。此外，視頻生成技術(shù)也在自動駕駛場景數(shù)據(jù)生成和具身智能機械臂操作視頻生成中發(fā)揮作用，提高了數(shù)據(jù)生成的效率和質(zhì)量。

科技賦能發(fā)展，創(chuàng)新決勝未來。盤古多模態(tài)大模型以其強大的能力，展現(xiàn)了多模態(tài)理解世界的廣闊前景。通過更多模態(tài)的感知，模型能夠更好地理解世界，實現(xiàn)更高效、更準確地創(chuàng)作和審核。展望未來，華為將繼續(xù)攜手伙伴共同推進“超清化、移動化、智能化”創(chuàng)新技術(shù)應(yīng)用的落地，華為盤古大模型將為AIGC可信高效發(fā)展注入強勁動力，為智能世界帶來更多可能。