當AI遇見海量視頻,IBM用20秒打開新時代之門
前言:
如何從接近 6 萬小時的視頻中找出屬于某個人的精彩 1 分鐘?
6 萬小時什么概念?那是 66 年零 7 個月。
在這接近人一生長度的視頻中,恐怕即便是親身經歷者也很難快速給你答案。而在視頻工業(yè)迅速崛起的當下,觀眾可等不了太久。
當一個新人在某場體育比賽中嶄露頭角,觀眾們想要在比賽結束后就立刻了解到他的過去以及他的成長。但顯然,在傳統(tǒng)技術條件下,這是不可能的。
面對浩如煙海的視頻資料,即便是最資深的編輯使用***大的非線性編輯軟件和高性能的硬件;在面對整理個人生平和精彩瞬間這樣的任務需求時,編輯通常也需要付出數(shù)小時甚至數(shù)天的時間。而且由于時間和精力的限制,其間的遺漏更是在所難免。
面對越來越無法等待的觀眾,傳統(tǒng)的視頻制作方只能大規(guī)模的增加視頻編輯數(shù)量,以期提升視頻整理和制作的速度。
但隨著視頻素材的不斷積累以及比賽中明星選手的不斷涌現(xiàn),這項工作只會越來越困難,越來越耗時。
騰訊的 NBA 之路
2015 年,騰訊與 NBA 簽約,成為 NBA 中國數(shù)字媒體獨家官方合作伙伴。而這不僅意味著騰訊體育可以直播 NBA 所有比賽,更意味著騰訊體育可以獲得 NBA 聯(lián)賽開始以來所有的視頻資料及其使用權。
這一合作不僅為騰訊體育帶來了過億的 NBA 球迷用戶,更對騰訊體育的視頻能力提出了更高的要求。
在騰訊體育基于 NBA 的視頻業(yè)務中,很大一部分都是各類比賽和球員的精彩瞬間。
在過去,騰訊的視頻編輯需要將每場比賽的所有視頻資料進行精編,并根據每段內容的各種屬性進行粗略剪輯,以備后用。
而在進行各類“精彩瞬間”視頻的制作時,騰訊的視頻編輯就需要在這些浩如煙海的視頻庫中尋找對應標簽的素材,并結合主題、音樂、特效等進行精細編輯,整個流程相當漫長。
即便只是輸出 1 分鐘的精彩集錦,也需要幕后編輯付出數(shù)小時、甚至數(shù)天的辛苦勞作。
但隨著新媒體營銷話題性、時效性要求的逐步提升,傳統(tǒng)的編輯流程和模式已經不再能夠適應新媒體和數(shù)字化傳播的需求。
各類基于話題和實時比賽的營銷和推廣已經無法再為傳統(tǒng)視頻編輯模式提供足夠的編輯制作時間。
面對這一困境,按照傳統(tǒng)手段買設備、增人員的升級模式也無以為繼。產業(yè)需求面臨變革,但支持產業(yè)變革的內容產生模式卻還沒有出現(xiàn);這對矛盾看似已經無解……
AI Vision 為騰訊體育提供視頻編輯新解
在新一代算法和半導體技術的推動下,人工智能大潮已經開始在多個層面給企業(yè)的業(yè)務帶來變革,將人們從簡單、繁瑣的重復性勞動中解放出來。
自動駕駛、文字及語音識別、簡單邏輯判斷等應用開始成為 AI 大展拳腳的新領域。
而作為全球領先科技的探索者,IBM 中國研究院更是在 AI 技術的應用方面布局已久。
前段時間,為了探索人工智能應用在視頻應用方面的更多可能,騰訊體育與 IBM 成為工智能分析與剪輯合作伙伴,以領先的人工智能視覺深度學習平臺——被喻為“IBM AI Vision 視覺大腦”,為騰訊 NBA 編輯團隊定制 AI 視頻剪輯方案,使海量歷史賽事視頻資料變得可搜索可隨需提取,讓每一幀每一秒的視頻價值***化,將為 1.25 億籃球迷提供***他們期待的在線觀賽新體驗。
通過全新的神經網絡和深度學習技術,IBM“AI Vision 視覺大腦”可以依照需求自動根據籃球比賽各類技術動作和熱點維度進行建模、分析,并依據建模在騰訊體育的視頻庫中尋找各類球星、主題的視頻信息,之后再將這些精選視頻剪輯在極短時間內提供給視頻編輯。
而視頻編輯則可以直接開始相關的配樂、精細剪輯工作。因此,整個視頻內容的產出工作將被極大的簡化,視頻產出速度亦將大幅提升。
由 IBM AI Vision 視覺大腦技術參與制作的杜蘭特 11 年精彩回顧(轉載自騰訊視頻)
以“為 2018 季后賽總決賽 MVP 凱文·杜蘭特制作生涯精彩瞬間集錦”這一工作為例,我們來詳解“AIVision 視覺大腦”的工作流程:
·首先,騰訊體育編輯根據球賽中球員的表現(xiàn)為“AIVision 視覺大腦”下達任務:尋找凱文·杜蘭特的精彩瞬間,這些精彩瞬間包括投籃、扣籃、搶斷、蓋帽等內容。
·之后,“AI Vision 視覺大腦”會根據視頻編輯的需求,邊看比賽邊識別和分析杜蘭特的比賽視頻,在晃動的視角、告訴運動的球員、相互遮擋激烈對抗的攻防戰(zhàn)中將其中所有相關的內容剪輯出來,并根據精彩程度等相關指標進行加權評估。
·***,在 20 秒內,實時生成精彩視頻集錦。
開啟 AI 視覺分析技術應用新藍海
面對如此強悍的性能,也許我們會擔心“AI Vision 視覺大腦”會占用大量的硬件資源。
但事實上,在騰訊體育的應用案例中,“AI Vision 視覺大腦”完成某位球星的精彩瞬間僅需調用十余塊協(xié)處理器的計算資源;而這對于騰訊所擁有的海量硬件資源來說更是九牛之一毛。
在極少的資源占用和極高的性能表現(xiàn)下,建模、遍歷、計算、分析、輸出結果,所有動作一氣呵成。這是騰訊體育的勝利,更是 AI 技術的勝利。當然,如此強大的性能并非只是騰訊體育或 NBA 的專屬。
借助“AI Vision 視覺大腦”所具備的多種能力,亮點視頻制作、比賽復盤、電影預告片制作、攝像頭畫面實時分析、自動駕駛、路況實時識別、殘障人士關懷等眾多場景均可因此受益。
短短幾十秒,騰訊體育獲得的是一段精彩視頻,而我們獲得的是一整個 AI 時代。