Gadgetshowto
În mod tradițional, oamenii au folosit televizoare care au un raport de aspect 16: 9 sau 4: 3 pentru a viziona videoclipuri. Cu toate acestea, cu dispozitivele recente, oamenii vizualizează și creează videoclipuri într-o serie de raporturi de aspect. Decuparea videoclipurilor pentru a se potrivi ecranelor acestor dispozitive este o sarcină plictisitoare pentru curatorii video. Din fericire, Google este pe cale să decupeze videoclipurile fără probleme.
Recent, într-o postare pe blog, Google a anunțat un instrument open-source pentru reîncadrarea și decuparea videoclipurilor pentru a se potrivi oricărui ecran. AutoFlip este instrumentul care utilizează tehnologia de detectare și urmărire a obiectelor bazată pe învățarea automată (ML) pentru a reformula automat videoclipurile.
AutoFlip - Pentru decupare video inteligentă
Google a creat acest instrument pentru a scăpa de metoda convențională de tăiere statică pentru decuparea videoclipurilor. Metoda de decupare statică implică tehnici nesigure de reîncadrare video, adică specificarea unei imagini de vizualizare a camerei pentru videoclip și apoi decuparea a tot ceea ce se află în afara zonei respective. Această metodă produce o ieșire nedorită a videoclipurilor.
Google Autoflip este capabil de multe funcții avansate care includ detectarea fotografiilor, analiza conținutului video și, în sfârșit, reîncadrarea. Permiteți-mi să rup pe scurt fiecare dintre aceste strategii de reformulare.
Detectare fotografiere (scenă)
O scenă sau o fotografie într-un videoclip este o succesiune continuă de cadre fără tăieri. Dacă există vreo modificare în imaginea sau scena unui videoclip, AutoFlip-ul Google poate detecta modificarea prin compararea histogramei de culoare a cadrelor anterioare cu cele noi. O schimbare de fotografiere este detectată atunci când distribuția culorii cadrului se schimbă la o rată diferită de o fereastră istorică glisantă. Instrumentul, pentru optimizarea procesului de reîncadrare, memorează întregul videoclip înainte de a lua orice decizie de reîncadrare.
Analiza conținutului video
Prin utilizarea acestei strategii, instrumentul detectează obiecte și persoane importante din videoclip. Folosește modele de detectare a obiectelor bazate pe învățarea profundă pentru a identifica obiecte. Cu acest model, instrumentul poate detecta chiar orice suprapuneri de text sau sigle ale mărcii și alte elemente precum mișcarea sau mingea pentru videoclipurile sportive. Modelele de detectare a feței și a obiectelor sunt integrate în instrument prin MediaPipe. Este practic un cadru pentru procesarea datelor multimodale prin dezvoltarea conductelor. Acest cadru folosește cadrul Google TensorFlow Lite ML pentru procesoare.
Reîncadrare
După identificarea persoanelor și obiectelor din videoclipuri, instrumentul ia decizii logice cu privire la modul de reformulare a videoclipului. AutoFlip alege una dintre cele trei strategii de reîncadrare pentru a decupa conținutul - staționare, panoramare sau urmărire. Instrumentul alege strategia optimă pe baza conținutului videoclipului. De exemplu, în modul staționar, ecranul camerei reîncadrate rămâne fixat într-o poziție staționară în care sunt prezente majoritatea scenelor importante ale videoclipului. Pentru videoclipurile care conțin mișcare, folosește panoramarea prin deplasarea ferestrei camerei încadrate la o viteză constantă. Când există subiecte interesante în cadru, modul de urmărire intră în vigoare.
Pe baza strategiei de reîncadrare aleasă de algoritm, o fereastră de decupare optimizată pentru fiecare cadru este setată de AutoFlip. Acest lucru păstrează conținutul important al videoclipului în cel mai bun mod posibil.
Google a lansat acest instrument direct dezvoltatorilor și producătorilor de film cu scopul de a „reduce barierele în calea creativității lor de proiectare și atinge prin automatizarea editării video„. De la peisaj la portret sau portret la peisaj, indiferent de caz, AutoFlipis a fost conceput pentru a oferi cel mai bun rezultat posibil.
