Google Lumiere ir jauns mākslīgā intelekta (MI) modelis, kas spēj izgatavot pārsteidzoši augstas kvalitātes saturu. Pat īsus videoklipus.
Tehnoloģiju gigants gājis garu ceļu, Lumiere veidotie video vairs neizskatās pēc kadriem no šausmu filmas. Tie ir kļuvuši pat ļoti reālistiski. Kustības ir dabīgas un plūstošas. Inbara Moseri, Google Research pētniecības komandas vadītājs, platformā YouTube publicējusi video, kur demonstrētas tehnoloģijas spējas.
Google ieguldījuši milzu darbu, lai Lumiere veidotais saturs izskatītos pēc iespējas dzīvīgāks. Izstrādātāju grupa to panākusi ar tehnoloģiju, ko sauc Space-Time U-Net architecture (STUNet). Lai gan tā ir ļoti sarežģīta, Ars Technica skaidro, ka tehnoloģija ļauj saprast, kur video materiālā atrodas objekti, kā tie kustās un mainās. Paralēli novērošanai tās darbības tiek renderētas, kā rezultāta iegūst plūstošu materiālu.
Tehnoloģijas darbojas pretēji citām ģenerējošajām platformām, kas sākumā klipos izveido atslēgas kadrus un tad aizpilda tukšumus. Tādējādi tiek iegūtas saraustītas kustības, ko tipiski novēro MI veidotajos video.
Google Lumiere piedāvātās iespējas
Papildus text-to-video (no teksta uz video) ģenerēšanai, tehnoloģijai piemīt arī citas funkcijas, ieskaitot multimodalitātes atbalstu.
Lietotāji varēs augšupielādēt bildes vai video ar vēlamajām specifikācijām, ko MI rediģēs. Piemēram, augšupielādēt gleznu ar vēlmi to pārvērst kustīgā videoklipā. Lumiere piemīt arī spēja ar nosaukumu Cinemagraph, kas var animēt konkrētas bildes daļas.
Google to demonstrē, izvēloties taureni, kas sēž uz zieda. Ar MI palīdzību taurenis sāk kustināt savus spārnus, kamēr zieds paliek statisks.
Ar video saistītās funkcijas ir ļoti iespaidīgas. Video Inpaitning ir vēl viena funkcija, kas darbojas līdzīgi Cinemagraph, izvēloties konkrētu daļu no attēla. Piemēram, vēlamajam objektam var nomainīt krāsu. Taču tehnoloģija neapstājas pie šī un iet vēl tālāk. Ar Video Stylization piedāvātajām iespējam, var mainīt video esošos objektus. Parastu auto var kļūt pilnībā izgatavots no koka vai pat Lego klucīšiem.
Lumiere vēljoprojām izstrādes stadijā
Nav zināms, vai šādu iespēju saņems visi vai tomēr Google to vēlēsies padarīt par pakalpojumu.
Iespējams, redzēsim, ka MI parādīsies nākotnes Pixel viedierīcē, kā Magic Editor evolūcijas rezultāts. Tā ir funkcija, ar ko var mainīt vidi vai objektus Pixel 8 uzņemtajos attēlos.
Šobrīd izskatās, ka uzņēmums jaunumus paturēs sev. Lai arī cik iespaidīgi, funkcijai ir mīnusi. Vēljoprojām saskatāmas saraustītas animācijas. Taču citos gadījumos objektu ekstremitātes pārvēršas putrā. Lai uzzinātu vairāk, jādodas uz Google pētniecisko darbu par Lumiere, ko var atrast Kornela universitātes arXiv mājaslapā.
Avots: TechRadar
