祖?zhèn)魅讼裢婕?，如何把AI秀出新高度
作者：蕭簫
這個由感知人像引擎和畫質增強引擎組成的系統(tǒng)，不僅能讓照片里的人看起來更好看，畫面質感也能得到質的提升。
從今往后，合照不必擔心站在邊緣會變形了：
如今這種硬件所限的bug，正在被一舉解決，且了無痕跡：
除了拯救變形的人臉，還可以有人性化的素顏級美顏。
比如真實的你 VS 素顏級美顏的你：
從臉到脖子的貼心美白，懂你省心的祛痘P圖，但又恰如其分地留下你標志性的淚痣，讓分享到朋友圈的你不至于有美顏痕跡的尷尬。
當然，5G時代、短視頻時代，人像技術、美顏能力，自然也得與時俱進。
哪怕你的手和過山車一樣抖，拍出的視頻（圖左），也可以和用了幾千塊的穩(wěn)定器一樣清晰。
而這，就是AI可以帶來的最新最前沿人像技術能力。
并且祖?zhèn)魅讼裢婕?，還把一切all in到了手機里，把手機AI人像實現(xiàn)搞出新高度。
沒錯，說的就是OPPO。
怎樣的AI人像新能力？
融合了人臉檢測、面部關鍵點檢測、超分辨率算法、語義分割、自動補幀等一系列前沿AI技術。
全稱：OPPO FDF全維人像視頻技術系統(tǒng)。
這也是業(yè)內首個針對人像視頻拍攝打造的AI影像技術系統(tǒng)。
這個由感知人像引擎和畫質增強引擎組成的系統(tǒng)，不僅能讓照片里的人看起來更好看，畫面質感也能得到質的提升。
具體如何做到的，我們一一詳細解構。
所謂感知人像引擎，就是針對拍攝時的人像區(qū)域進行優(yōu)化，其核心技術包括AI人臉檢測/關鍵點檢測、AI超清人像（暗景/長焦拍攝也高清）、OFL膚質優(yōu)化、人臉畸變矯正四大項。
這四項技術，都需要很強很穩(wěn)，不能有偏科。
以人臉檢測為例，這是人像引擎中最基礎的技術，但經(jīng)過OPPO優(yōu)化后的特征金字塔 （FPN）算法，能在25ms內達到99.78%的人臉識別準確率。
而在人臉關鍵點檢測上，OPPO以296個點的數(shù)量，實現(xiàn)了移動平臺上每秒檢測200次 （200fps）的速度，在WFLW數(shù)據(jù)集上實現(xiàn)了低至4.71%的NME損耗。
至于畫質增強引擎，則是一套能保障用戶在絕對多數(shù)場景下都能拍出滿意的畫面的算法合集。
哪怕畫面抖動幅度較大、還是光線不足或過亮，畫質增強引擎都能將畫面調整到更符合用戶偏好的觀感。（你的VLOG必備小能手）
除了在開頭看到的，加入新一代超級防抖功能以外，畫質增強引擎還包括視頻多幀HDR和超級夜景視頻兩項技術。
利用視頻多幀HDR拍出來的小姐姐，隨便截一幀都是唯美的藝術照：
就連拍攝的夜景視頻，也能得到不輸白天的清晰度，甚至比白天有更豐富的色彩度：
這些看似不經(jīng)意的人像拍攝、視頻處理效果，卻是決定作品細節(jié)的關鍵。
如何評價OPPO最新AI人像技術？
需要更加深入到核心技術之源。
這次OPPO，不僅將人像系統(tǒng)做到了極致，還用軟件彌補了硬件上“廣角攝像頭”帶來的不足。
目前AI人像領域，核心技術水平，可以以處理暗光/長焦拍攝所用的超分辨率計算作為參考。
簡單來說，超分辨率（Super-Resolution）計算，是將一組低質量、低分辨率的圖像，通過軟硬件，得到一幅高分辨率圖像。
這是當前計算機視覺技術中難度最大的領域之一，需要盡可能地平衡圖像的畫質與真實性。
其核心思想，在于用時間帶寬（獲取同一場景的多幀圖像序列），來換取空間分辨率，實現(xiàn)時間分辨率向空間分辨率的轉換。
而就在這個領域，OPPO此次展現(xiàn)的技術能力，并非“啪的一下很突然”……
CVPR 2020上，OPPO就提出了獨創(chuàng)的神經(jīng)網(wǎng)絡架構RFB-ESRGAN，利用分布式算法提高計算效率、并以多元的采樣與計算模型配合，將模糊的圖片清晰放大了16倍。
當時OPPO還從全球280多個頂尖參賽團隊中脫穎而出，奪得了“極端超級分辨率感知”的第一名。
有備而來。
效果也人人可見，經(jīng)過AI處理的人像，眉毛和皮膚都變得更加清晰。
但相比軟件突破解決軟件問題，OPPO的這個AI系統(tǒng)，還需要關注的技術亮點在于——用軟件技術彌補硬件的先天不足。
例如，在用廣角攝像頭給人拍照的過程中，總有些尷尬之處：
如果不搶C位，你的人臉就可能會變形。
而且，由于透視投影（Perspective Projection）的近大遠小原理，變形的往往只有人臉，背景看起來反而比較正常。
以往針對這種變形臉，通常需要一些職業(yè)P圖大師來處理。
業(yè)內也一直在追求——既不會扭曲背景，又能讓人物恢復正常的技術。
而這次OPPO的解決思路，運用了球極平面投影 （Stereographic Projection）。
其原理是，把一個球面投射到平面上，并不忠實反映距離，卻十分忠實地反映角度。
不過，單這么一項還無法一蹴而就。
這種投影對人臉的拉伸并不大，然而背景看起來卻會變得扭曲。
（投影近處變化小，遠處變化更大）
所以OPPO再用上了另一項工序，用AI將兩者結合。
最終經(jīng)過兩次拍攝處理，加上一個AI切割算法，就能將“球平面投影”的部分邊緣變形人臉、和“透視投影”的背景結合起來，實現(xiàn)人臉的還原。
Anyway，如果你對技術原理本身不是很感冒，其實也沒關系。
甚至無需清楚知道OPPO這個AI系統(tǒng)中“感知人像引擎”和“畫質增強引擎”的高深之處。
簡單直接，所用所得，可以理解OPPO FDF全維人像視頻技術系統(tǒng)，就是OPPO放在手機里的你的專屬化妝師和視頻后期。
是的，專屬，體現(xiàn)在結果細節(jié)。
比如開頭提到的AI智能消除瑕疵，業(yè)內美顏產(chǎn)品和功能中，都算是標配。
然而，將痘痘、皺紋這樣的特征，和淚痣這樣的先天特征進行區(qū)分訓練，“分階采樣”的智能模型，卻是少之又少。
它體現(xiàn)了技術和產(chǎn)品團隊對用戶人性的洞察。如今的社交網(wǎng)絡發(fā)圖發(fā)視頻，確實都會發(fā)之前P一下，但所有人追求的，還是讓P圖痕跡、無跡可尋。
沒有誰想在曬照曬視頻后，被發(fā)現(xiàn)美顏P視頻的硬傷。
另外，還有OFL膚質優(yōu)化所需的語義分割技術，同樣體現(xiàn)這種想用戶所想。
為了將皮膚、頭發(fā)和衣物區(qū)分開來，OPPO的模型通過結構特征提取，將人像分割成臉部、脖子、手部、頭發(fā)、衣物等幾部分。
然而，與常見的美顏語義分割不同，OPPO將臉部、脖子、手部統(tǒng)一歸類為皮膚，一起進行優(yōu)化，為的就是避免膚色不均勻的問題。
……
所以如此種種，也能知曉為啥OPPO在人像領域一直引領、功力深厚的真正原因。
一方面是最復雜最前沿的技術，另一方面還要有大眾真實審美觀的洞察，最后交付到用戶手中無感使用。
OPPO的另一面
OPPO的技術性，通常易于被忽略。
但事實是，包括手機攝影攝像在內的“華山論劍”領域，OPPO產(chǎn)品和功能之所以爆款常有，都源自技術底蘊和支撐。
在世界知識產(chǎn)權組織(WIPO)的專利報告中，OPPO都是全球榜上靠前的企業(yè)。
最新可查的2019年數(shù)據(jù)，OPPO在全球范圍內的排名位居韓國三星和美國高通之后，位居全球第六、中國區(qū)第二。
而具體到人像領域，OPPO的技術專利，也能最好詮釋這家公司為何在該領域持續(xù)創(chuàng)新和領先。
OPPO官方披露，2012年開始就在人像領域在全球范圍內開展專利布局，包括中國、美國、德國、法國、英國、印度以及日韓等25個國家地區(qū)。OPPO在人像美顏、虛化、防抖、夜景等影像技術的專利申請總數(shù)超過700件，其中發(fā)明專利占比80%。
然而技術底色的光芒，此前一定程度上被大眾消費電子產(chǎn)品的成功而蓋過。
這其實也與剛才提及的OPPO的產(chǎn)品理念，密不可分。
講本分、講人性、講用戶體驗，追求的是：
在今年OPPO未來科技大會現(xiàn)場，創(chuàng)始人陳明永還分享了OPPO手機的初代往事。
還是功能機時代，2008年，OPPO第一款手機在歷時一年半研發(fā)后，原型機獲得供應鏈和客戶高贊，但最終OPPO團隊卻決定不發(fā)布它，而是花費半年在此基礎上重新設計，達到預期想要的最完美效果。
最終，笑臉手機問世，一炮而紅，用一款功能機的最慢推出紀錄，創(chuàng)造了半年破百萬臺銷量的業(yè)界佳話。
同樣的理念一以貫之，就有了后來的「充電5分鐘通話2小時」的快充領先方案，有了自拍、人像攝影領域的江湖地位。
正是這樣的產(chǎn)品理念，從需求、體驗，帶動了產(chǎn)品的成功。而產(chǎn)品的成功，又讓OPPO可以在更大體量規(guī)模的用戶數(shù)、用戶反饋反饋上迭代技術和打磨產(chǎn)品。
實現(xiàn)了數(shù)據(jù)智能背景下，技術-產(chǎn)品-用戶之間的正向循環(huán)和動勢能轉換。用戶只需得到最好的產(chǎn)品體驗和解決方案，而無需關注背后技術的復雜度和實現(xiàn)難度。
這也正是OPPO創(chuàng)始人陳明永強調的本分、致善式創(chuàng)新。
他說本分的力量是從自省出發(fā)，應該做什么？做了沒有？
而且思考問題的本質，做正確的事。
在商業(yè)特別是消費電子領域，友商、競爭和各種“欺瞞奸狠”常被關注。
但相信本分和致善式創(chuàng)新，就是相信可以通過解決別人的問題、用戶的痛點，實現(xiàn)多贏。
具體到OPPO，就是希望以科技作為手段，實現(xiàn)每一個用戶對美、想象力和人性的追求。
陳明永認為，科技創(chuàng)新如果沒有自我約束機制，沒有更高的理念做支撐，很可能成為一種負擔。
通盤思考中國哲學“致良知”和西方人性哲學之后，陳明永提出“科技為人，以善天下”，意以給公司經(jīng)營和科技創(chuàng)新提供一條校驗準繩，以糾偏各種追求短期效益的創(chuàng)新。
同時，他提醒科技創(chuàng)新過程中要注意規(guī)避因恐懼落后對手而不關心人的需求的盲目式創(chuàng)新。
所以從技術、產(chǎn)品，上升到企業(yè)經(jīng)營，OPPO之道，實現(xiàn)了一以貫之。
One more thing
最后，這次OPPO大秀技術和產(chǎn)品實力的大會上，還有其他最前沿技術的一攬子展出。
除了FDF全維人像視頻技術系統(tǒng)，還有三大前沿應用。
一是手機，OPPO X 2021卷軸屏概念機：
二是代表下一代交互終端的AR眼鏡，OPPO AR Glass 2021：
以及AR應用平臺，CybeReal全時空間計算，這是OPPO的數(shù)字孿生平臺，能夠提供高精度的全時定位和場景識別，實現(xiàn)物理世界與數(shù)字世界的融合。
另外現(xiàn)場展區(qū)，還有包括3D虛擬人像技術、AI眼球控制，UWB空間感知技術等等一系列前沿技術。
不過，在這一系列的前沿技術和創(chuàng)新產(chǎn)品里，最令人期待的還是FDF系統(tǒng)。
因為馬上就能讓每個人所見所得。
OPPO官宣：2020年12月，也就是下個月，搭載FDF全維人像視頻技術系統(tǒng)的新品就會發(fā)布。
想直接體驗最前沿的AI人像能力和應用，不妨拭目以待~
責任編輯：張燕妮
來源：
量子位
