Nie znosisz dubbingu AI na YouTube? Idzie coś gorszego
YouTube szykuje kolejną nowość dotyczącą automatycznego tłumaczenia filmów – po funkcji auto dubbingu firma zacznie testować generowany przez AI realistyczny lip sync, czyli dopasowanie ruchu ust do przetłumaczonej ścieżki dźwiękowej.
Automatyczny dubbing AI na YouTube to jedna z najbardziej problematycznych funkcji serwisu. Z jednej strony pomaga dotrzeć do nowych widzów na całym świecie, z drugiej odstrasza sztucznością i włącza się w najmniej potrzebnym momencie. YouTube jednak pomysł się podoba i chce go jeszcze bardziej rozbudować, dodając generowany przez AU lip sync. Dzięki temu dubbingowane filmy mają zyskać większy realizm.
Jak ujawnił Buddhika Kottahachchi, odpowiadający w Google za produkt auto dubbingu, system dokonuje precyzyjnych modyfikacji na poziomie pikseli, zmieniając na filmach ułożenie ust, zębów i mimiki w taki sposób, aby widz miał wrażenie, że mówca faktycznie wypowiada zdubbingowane kwestie. Wykorzystuje do tego własny model sztucznej inteligencji, który potrafi analizować trójwymiarową strukturę twarzy.
Na start funkcja będzie obsługiwać maksymalnie jakość 1080p i pięć języków: angielski, francuski, niemiecki, portugalski i hiszpański. Google planuje później rozszerzyć wsparcie na ponad 20 języków dostępnych w obecnym auto dubbingu.
Podobnie jak w przypadku wcześniejszej funkcji automatycznego lektora, testy rozpoczną się w niewielkim gronie twórców na YouTube, a potem trafią szerzej na platformę. Twórcy będą mogli wyłączyć lip sync dla kanału lub wybranych materiałów.
Możliwe, że nowość będzie płatnym dodatkiem, choć szczegóły opłat nie są jeszcze znane. YouTube rozważa też wdrożenie zabezpieczeń, w tym widocznych oznaczeń i niewidzialnego odcisku cyfrowego, aby ograniczyć nadużycia związane z publikowaniem cudzych treści.
YouTube nie jest pierwszy. Podobne rozwiązanie testuje od ubiegłego roku Meta w Instagram Reels, gdzie funkcja dubbingu i lip syncu jest dostępna m.in. w językach angielskim, hindi, portugalskim i hiszpańskim.
