Alibaba je predstavila Wan2.1-VACE, model umjetne inteligencije otvorenog koda dizajniran da promijeni način na koji kreiramo i uređujemo videozapise.
VACE se ne pojavljuje niotkuda; dio je Alibabine šire Wan2.1 porodice video AI modela. I iznose prilično smjelu tvrdnju za njega, navodeći da je to „prvi model otvorenog koda u industriji koji pruža objedinjeno rješenje za različite zadatke generiranja i uređivanja videa“.
Ako Alibaba uspije preusmjeriti korisnike od žongliranja s više odvojenih alata prema jednom pojednostavljenom centru, to bi mogla biti prava prekretnica.
Dakle, šta ova stvar zapravo može da uradi? Pa, za početak, može da kreira video zapise koristeći sve vrste uputstava, uključujući tekstualne komande, fotografije, pa čak i isječke drugih video klipova.
Ali ne radi se samo o pravljenju videa od nule. Alati za uređivanje podržavaju referenciranje slika ili određenih kadrova za vođenje vještačke inteligencije, napredno “preslikavanje” videa (više o tome kasnije), podešavanje samo odabranih dijelova vašeg postojećeg videa, pa čak i rastegnutog/proširenog videa( stretching out). Alibaba smatra da ove funkcije “omogućavaju fleksibilnu kombinaciju različitih zadataka za poboljšanje kreativnosti”.
Zamislite da želite da kreirate video sa određenim karakterima u interakciji likovima, na primjer na osnovu nekih fotografija koje imate. VACE tvrdi da to može. Imate li fotografiju za koju biste željeli da bude dinamična? Alibabin model umjetne inteligencije otvorenog koda može dodati prirodno kretanje kako bi je oživio.
Za one koji vole fino podešavanje, tu su one napredne funkcije “preslikavanja videa” koje smo ranije spomenuli. To uključuje stvari poput prenošenja poza s jednog subjekta na drugi, preciznu kontrolu nad kretanjem, podešavanje percepcije dubine, pa čak i promjenu boja.
Jedna karakteristika koja nam je privukla pažnju je njena sposobnost da “podržava dodavanje, modifikaciju ili brisanje određenih dijelova videa bez utjecaja na okolinu”. To je ogroman plus za detaljne izmjene – nema više slučajnog mijenjanja pozadine kada pokušavate podesiti samo jedan mali element. Osim toga, može povećati površinu vašeg videa i čak popuniti novi prostor relevantnim sadržajem kako bi sve izgledalo bogatije i prostranije.
Možete snimiti ravnu fotografiju, pretvoriti je u video i tačno reći objektima na njoj kako da se kreću crtanjem putanje. Možete zamijeniti lik ili objekt nečim drugim što ste dali kao referencu i animirati ih. Možete i precizno kontrolisati njihovu pozu
Alibaba čak navodi primjer svog AI modela otvorenog koda koji uzima visoku, tanku vertikalnu sliku i pametno je proširuje bočno u video širokog ekrana, automatski dodajući nove dijelove i dijelove već podešene druge slike ili upute.
Naravno, VACE nije samo magija. Uključena je i pametna tehnologija, dizajnirana da se nosi sa stvarnošću video montaže. Ključni dio je nešto što Alibaba naziva Video Condition Unit (VCU), koja „podržava objedinjenu obradu teksta, slike, videa i maski“.
Zatim postoji ono što nazivaju „Context Adapter structure“ . Ovaj pametni inženjerski dio „stavlja različite zadatke i koncepte koristeći formalizirane reprezentacije vremenskih i prostornih dimenzija“. U suštini, zamislite to kao odlično snalaženje umjetne inteligencije unutar vremena i prostora vašeg videa.
Sa svom ovom pametnom tehnologijom, Alibaba smatra da će VACE biti hit u nekoliko oblasti. Prije svega za brze klipove na društvenim mrežama, privlačne reklame i marketinški sadržaj, zahtjevne specijalne efekte postprodukcije za film i TV, pa čak i za generiranje prilagođenih edukativnih videa.
Alibaba objavljuje Wan2.1-VACE kao otvoreni kod kako bi proširila pozitivan odnos prema umjetnoj inteligenciji
Izgradnja ovako moćnih AI modela obično košta jako mnogo i zahtijeva ogromnu računarsku snagu i tone podataka.
„Otvoreni pristup pomaže u smanjenju prepreka za kompanije da koriste vještačku inteligenciju, omogućavajući im da brzo i isplativo kreiraju visokokvalitetni vizuelni sadržaj prilagođen njihovim potrebama“.
U osnovi, Alibaba se nada da će omogućiti većem broju ljudi – posebno manjim preduzećima i individualnim kreatorima – da dođu do vrhunske umjetne inteligencije bez prevelikog trošenja novca. Ova demokratizacija moćnih alata je uvijek dobrodošla. I ne objavljuju samo jednu verziju. Tu je i ozbiljniji model sa 14 milijardi, te i onaj agilniji model sa 1,3 milijarde parametara za lakše postavke. Možete ih besplatno preuzeti odmah na Hugging Face i GitHub ili putem Alibaba Cloud-a.
Izvor: Artificialintelligence-news
FOTO VIDEO INFO 