合照的時(shí)候，沒有誰(shuí)喜歡站在最邊上。因?yàn)槟槙?huì)被鏡頭無(wú)情地拉扯，不止變得寬廣，還會(huì)有些歪斜：97°視場(chǎng)角不過(guò)，谷歌剛剛推出了一門法術(shù)
合照的時(shí)候，沒有誰(shuí)喜歡站在最邊上。
因?yàn)槟槙?huì)被鏡頭無(wú)情地拉扯，不止變得寬廣，還會(huì)有些歪斜：
97°視場(chǎng)角
不過(guò)，谷歌剛剛推出了一門法術(shù)，可以讓廣角照片里的人臉，不用再扭曲變形：
左一的妹子，右一的妹子，臉型都顯得更加對(duì)稱自然了。
那么，增加一波難度。
帶上墨鏡，帶上帽子，拉長(zhǎng)的臉依然可以復(fù)原：
103°視場(chǎng)角
用手擋住半張臉，AI還是沒有被迷惑：
103°視場(chǎng)角
不止是這樣，AI把人臉調(diào)正的同時(shí)，也不會(huì)扭曲了背景。
比如下圖，中間是DxO Viewpoint的人臉修正，后面的欄桿被擠成了一條弧線；而右邊是谷歌算法，修好了人臉，欄桿依然直挺：
團(tuán)隊(duì)說(shuō)，整個(gè)修復(fù)過(guò)程都是AI自動(dòng)完成，并且在移動(dòng)端也可以運(yùn)行。
這只善良又聰穎的AI，登上了頂會(huì)SIGGRAPH 2019。
也在Reddit論壇收獲了1.9k的熱度：
有人說(shuō)Pixel，的廣角前置鏡頭已經(jīng)用上了這個(gè)算法，拍完之后點(diǎn)開照片預(yù)覽，發(fā)現(xiàn)自己的臉已經(jīng)收窄了。
現(xiàn)在就來(lái)看看，人物和背景，到底是怎樣兼顧的吧。
互補(bǔ)才是完美
谷歌說(shuō)，從前想要糾正鏡頭畸變，總是需要職業(yè)的修圖士。
因?yàn)?，讓機(jī)器自動(dòng)完成的話，常常是修好了一處扭曲，又制造了另一處新的扭曲。
不過(guò)，團(tuán)隊(duì)也正是從這些不完美的算法之間，發(fā)現(xiàn)了新世界的大門：
先看透視投影 (Perspective Projection) 。從一個(gè)投射中心出發(fā)，把一個(gè)3D物體投在2D表面上。忠于透視原理，近大遠(yuǎn)小。
這種投影一定有失真，比如站在邊上的人，離投射中心比較遠(yuǎn)，臉就大了起來(lái)。不過(guò)，它拉伸的主要是人臉，背景并不容易發(fā)生扭曲。
而球極平面投影(Stereographic Projection) 就不同了。把一個(gè)球面投射到平面上，并不忠實(shí)反映距離，卻十分忠實(shí)地反映角度。就像這張地圖。
這種投影也一定有失真，但對(duì)一張照片來(lái)說(shuō)，主要是背景里的直線會(huì)變彎，而人臉不易被拉伸。
如此說(shuō)來(lái)，兩種投影愉快地互補(bǔ)了。
觀察到這個(gè)美麗的現(xiàn)實(shí)，研究人員當(dāng)然要把它們的優(yōu)點(diǎn)，用優(yōu)雅的方式結(jié)合起來(lái)。
一句話概括，就是讓透視投影去處理背景，球極平面投影去處理局部 (人臉) 。
當(dāng)然，要讓兩種原本沖突的投影方式和平共處，并不是一句話的事。具體說(shuō)來(lái)：
97°視場(chǎng)角
輸入的照片如上，已經(jīng)先用透視投影處理過(guò)。
第一步，找出目標(biāo)區(qū)域：人臉，包括頭發(fā)。
這里，要用人物分割算法，給輸入圖像里的人類做個(gè)Mask；再用人臉檢測(cè)器，標(biāo)出臉部的邊界框。最后，把Mask和邊界框的交集，用綠色標(biāo)注出來(lái)。
第二步，為輸入的 (透視投影) 照片，算出一個(gè)球極平面投影。
如果把這個(gè)投影可視化，會(huì)發(fā)現(xiàn)邊角的人臉已經(jīng)修好，只是背景里，左邊的窗棱和右邊的墻彎了(下圖) 。
所以就有了關(guān)鍵的下一步：
第三步，用上前兩步的數(shù)據(jù)，算出一個(gè)網(wǎng)格 (Mesh) 。這個(gè)網(wǎng)格依然是做球極平面投影，但只要調(diào)整人臉區(qū)域，背景盡量保持原樣。
為了不影響背景，這里用到了能量最小化(Energy Minimization) 方法，來(lái)平息兩種投影之間的沖突，促成更加平滑的過(guò)渡。
這樣，就有了一個(gè)兼顧人臉和背景的、優(yōu)化過(guò)的網(wǎng)格：
第四步，用這個(gè)網(wǎng)格來(lái)捏那張輸入的照片，得到的就是最終答案：
右下角的人臉自然了，背景里的直線也還是直線。
團(tuán)隊(duì)說(shuō)，這個(gè)方法可以勝任70°-120°的視場(chǎng)角。
并且，幾乎不受場(chǎng)景的限制：
單人自拍可以，多人合照可以。
室內(nèi)戶外都表現(xiàn)穩(wěn)定；光線明暗也不影響AI的發(fā)揮。
除了開頭提到的帽子、墨鏡、手遮臉，這些沒有難倒AI的因素之外，臉朝側(cè)面也不會(huì)給算法造成困惑。
還要注意的是，團(tuán)隊(duì)是為了移動(dòng)端的應(yīng)用，才開發(fā)了這只AI。它的運(yùn)行速度，足以支持手機(jī)上相機(jī)App的正常交互：即時(shí)修圖，即時(shí)分享。
如果說(shuō)有什么缺憾，大概就是在捏臉的同時(shí)，還不能把身體一起捏好。
而人在角落，身體也可能被拉伸，如果只把臉修到正常的形狀和大小，身體有時(shí)候就顯得太大：
即便這樣，AI也已經(jīng)滿足了廣角人像拍攝的大部分需求。
大家一起自拍的時(shí)候，就算拿著手機(jī)的那個(gè)人是你，也不用再擔(dān)心自己的臉被拉寬拉長(zhǎng)了。
三個(gè)少年
AI的爸爸，三位谷歌少年，全部來(lái)自寶島。
一作名叫施易昌(YiChang Shih) ，本科念臺(tái)大，碩博都在麻省理工，實(shí)習(xí)經(jīng)歷遍布Adobe、谷歌研究院、微軟研究院等等。
2015年，從閃耀的CSAIL實(shí)驗(yàn)室拿到博士學(xué)位，如今已是谷歌的高級(jí)軟件工程師 (Senior Software Engineer) ，主攻移動(dòng)設(shè)備上的計(jì)算攝影。
二作是賴威昇(Wei-Sheng Lai) ，本科碩士都在臺(tái)大，現(xiàn)在是加州大學(xué)默塞德分校博四的學(xué)生。曾經(jīng)在Adobe和英偉達(dá)實(shí)習(xí)，不久前剛剛結(jié)束在谷歌作為學(xué)生研究員的歷程。
三作叫梁家愷(Chia-Kai Liang) ，本科和博士都在臺(tái)大。2008年博士畢業(yè)，現(xiàn)在是谷歌的高級(jí)專家軟件工程師 (Senior Staff Software Engineer) 。
One More Thing
雖然，三位作者里有兩位都曾經(jīng)在Adobe實(shí)習(xí)。
但這支團(tuán)隊(duì)孕育的AI，畫風(fēng)溫柔善解人意。
比起一周前Adobe發(fā)布的“反向PS”利器，那只能把P過(guò)的美照打回原形的AI (如下) ，這廣角人像的修復(fù)師AI，大概算得上愛的奉獻(xiàn)了。（文/栗子）
