Mākslīgais intelekts Ķīnas pētnieku rokās rezultējies Emote Portrait Live. Lietotne animē statiskus attēlus un pat sinhronizēt tos ar audio.
Tehnoloģija aiz tā balstās uz difūziju modeļu (matemātiskie modeļi, ko izmanto, lai aprakstītu, kā laika gaitā lietas izplatās vai izkliedējas) ģeneratīvās spējas. Tie var tiešā veida sintezēt video ar tēlu galvām no kāda attēla un jebkura audio klipa. Ar šo procesu tiek apieta nepieciešamība pēc sarežģītas priekšapstrādes vai starpposma attēlojumiem, tādējādi vienkāršojot runājošu video veidošanu.
Īstais izaicinājums ir uztvert cilvēka sejas kustību nianses un dažādību. Tradicionālajās metodēs tas tiek vienkāršots, ierobežojot galīgo video izvadi, piemēram, izmantojot 3D modeļus, ar ko tiek limitēti sejas galvenie punkti. Vēl var no video iegūt galvas kustību secības, lai radītu vispārēju kustību. Taču šādi paņēmieni ierobežo sejas izteiksmju reālistiskumu un patieso krāšņumu.
Mākslīgais intelekts nav bez izaicinājumiem
Pētnieku komandas mērķis ir izstrādāt struktūru, kas spēj uztvert lērumu reālistisku sejas izteiksmju, ieskaitot smalkas mīmikas un ļaujot veikt dabiskas galvas kustības.
Tomēr audio integrēšana ar difūzijas modeļiem ir nedaudz apgrūtināta. Tas ir, audio un sejas izteiksmju mijiedarbības dēļ. Rezultātā var rasties dažādas kļūmes – sejas kropļojumi un saraustīti video kadri. Lai tiktu galā ar šo problēmu, pētnieki savā modelī ietvēruši stabilos kontroles mehānismus, tas ir, ātruma un sejas reģiona kontroli. Tos izmantojot, vajadzētu uzlaboties stabilitātei ģenerācijas procesa laikā.
Neskatoties uz tehnoloģijas potenciālu, ir daži šķēršļi. Process aizņem daudz vairāk laikā kā metodes, kur netiek izmantots difūzijas modelis. Papildus – tā kā nav ietverti nekāda veida signāli, kas vadītu tēla kustību, modelis var netīši ģenerēt arī citas ķermeņa daļas, piemēram, rokas.
Grupa ir publicējusi rakstu par savu darbu arXiv, serveris, kur var publicēt rakstu agrīnās versijas. Šajā mājaslapā var apskatīt dažādus video, kas prezentē Emote Portrait Live spējas. Apskatei pieejami arī klipi ar Vakīnu Fīniksu (Džokera lomā), Leonardo Di Kaprio un Odriju Hepbērnu.
Avots: TechRadar
