Adobe的Project Sweet Talk使肖像生動(dòng)起來

傳統(tǒng)上，Adobe MAX上最有趣的會(huì)議之一是Sneaks主題演講，公司各個(gè)部門的工程師在此展示他們最前沿的工作。有時(shí)，這些變成產(chǎn)品。有時(shí)他們沒有。如今，很多工作都集中在基于Adobe Sensei平臺(tái)的AI上。今年，該公司為我們提供了有關(guān)Sweet Sweet Talk項(xiàng)目的早期信息，這是今晚活動(dòng)的重點(diǎn)內(nèi)容之一。

這里的想法很簡單，但是很難實(shí)現(xiàn)：拍攝肖像，無論是繪畫還是繪畫，識(shí)別面部的不同部分，然后與畫外音同步地對(duì)嘴進(jìn)行動(dòng)畫處理。如今，Adobe的Character Animator(您可能已經(jīng)在與Stephen Colbert一起在《 The Late Show》等節(jié)目中看到過)做到了一些，但是動(dòng)畫數(shù)量有限，即使是最好的動(dòng)畫師，結(jié)果也無法做到?？偸强雌饋砗鼙普娴?在產(chǎn)品中為動(dòng)畫制作的圖紙盡可能)。Sweet Talk項(xiàng)目要聰明得多。它分析畫外音，然后使用其AI智能工具對(duì)角色的嘴和頭進(jìn)行逼真的動(dòng)畫處理。

由Adobe研究人員Dingzeyu Li領(lǐng)導(dǎo)的團(tuán)隊(duì)，與周揚(yáng)(麻薩諸塞大學(xué))，Jose Echevarria和Eli Schectman(Adobe Research)一起，將他們的模型實(shí)際投放了數(shù)千個(gè)小時(shí)的真實(shí)人與攝像頭交談視頻YouTube。出人意料的是，該模型確實(shí)很好地轉(zhuǎn)移到了繪畫上，即使與團(tuán)隊(duì)合作的面孔(包括漂亮的動(dòng)物面孔基本圖紙)看起來并不像人臉。

李說：“動(dòng)畫很難，我們都知道。”“如果大家都知道，如果我們想將面孔與給定的音軌對(duì)齊，則難度會(huì)更大。AdobeCharter Animator已經(jīng)具有一項(xiàng)功能，可以從場(chǎng)景音頻中獲取'計(jì)算唇形同步'，”它向您展示了局限性”。Character Animator中的現(xiàn)有功能只能移動(dòng)嘴巴，而其他所有東西保持靜止。那顯然不是很現(xiàn)實(shí)的樣子。如果您看一下這篇文章中嵌入的示例，您會(huì)發(fā)現(xiàn)團(tuán)隊(duì)自動(dòng)地巧妙地變形了臉部，使它們看起來更逼真-全部來自基本的JPG圖像。

因?yàn)樗_實(shí)可以使臉部變形，所以Project Sweet Talk不能很好地處理照片。他們只是看起來不正確-這也意味著沒有必要擔(dān)心有人濫用此項(xiàng)目來獲取深造品。李告訴我：“要生成逼真的深層假象，需要大量的訓(xùn)練數(shù)據(jù)。”“在我們的案例中，我們只關(guān)注可以從圖像預(yù)測(cè)的地標(biāo)，而地標(biāo)足以使動(dòng)畫動(dòng)起來。但是在我們的實(shí)驗(yàn)中，我們發(fā)現(xiàn)僅靠地標(biāo)不足以產(chǎn)生逼真的[動(dòng)畫上]的照片。”

從長遠(yuǎn)來看，Adobe可能會(huì)將此功能內(nèi)置到Character Animator中。李還告訴我，構(gòu)建一個(gè)實(shí)時(shí)系統(tǒng)(類似于今天的Character Animator中的功能)在團(tuán)隊(duì)的優(yōu)先級(jí)列表中排在首位。