Le IA possono ora creare sequenze di anime

Recentemente, l’utente Twitter “@8co28” è diventato di tendenza dopo aver condiviso un video in cui mostrava di aver trasformato un’animazione 3D in un’animazione in stile anime grazie all’intelligenza artificiale (AI). Per spiegare questo processo, occorre innanzitutto illustrare una serie di concetti.

Per cominciare, l’utente spiega che il primo video (a sinistra) è stato realizzato con il software gratuito MikuMikuDance (abbreviato in MMD), che permette di creare animazioni, pose e danze in 3D, originariamente prodotto per l’idolo virtuale di Vocaloid Hatsune Miku. Il software consente agli utenti di importare modelli tridimensionali in uno spazio virtuale, che possono essere spostati e animati secondo le necessità. È il software per eccellenza che molti usano per creare animazioni hentai dei personaggi stagionali più popolari.

In seguito, il video risultante è stato convertito in animazione in stile anime da un’intelligenza artificiale (anche se non menziona quale abbia usato, si deduce che si tratti di Stable Diffusion). Ricordiamo che le IA convertono una singola immagine caricata dall’utente in uno stile anime, quindi l’utente ha effettivamente convertito ogni singolo fotogramma del video. Quando li ha avuti tutti, li ha rimessi insieme per creare il video animato della sequenza.

MMD初音ミク「マーシャル・マキシマイザー」をAI動画化してみた https://t.co/hu0g8IFLTa
フル尺をYoutubeに動画あげました。
より高画質で見れます。#AIart #AIvideo #初音ミク pic.twitter.com/h4JBJFZCqx

— 852話 (@8co28) January 30, 2023

Il risultato è semplicemente spettacolare e vi spieghiamo perché. Viene realizzata un’animazione in stile anime, senza un solo disegno! Il MMD occupa solo un modello 3D precedentemente progettato (ci sono migliaia e migliaia di modelli disponibili su Internet, che vengono aggiornati con ogni nuovo personaggio) e l’utente ha solo il compito di muoverlo e di generare sequenze di pose e movimenti della telecamera.

Questo è ciò che finisce per muovere il modello e, dopo averlo passato all’IA, diventa una sequenza animata quasi perfetta. Perché si nota lo sfarfallio nel modello? Ricordiamo che l’IA trasforma ogni fotogramma in modo indipendente, quindi non arriva sempre alla “stessa conclusione”, cioè non genera sempre la stessa Hatsune Miku. In futuro, è possibile che questo problema venga risolto per ottenere una sequenza con disegni più “stabili”.

A parte lo sfarfallio, l’animazione risultante è spettacolare e apre una serie di possibilità per chi realizza animazioni autonome in MMD. Un programma nato semplicemente per realizzare alcuni video di Hatsune Miku si apre ora alla possibilità di creare anime. Naturalmente, ciò ha suscitato una serie di reazioni, in particolare:

“Oh mio Dio, questo tipo di progresso nel mondo dell’animazione è incredibile”.
“È incredibile. Ora voglio vedere qualcosa di simile, ma da Kagamine Len”.
“Si percepisce il progresso a passi da gigante, tra dieci anni le IA saranno in grado di creare il proprio anime senza che nessuno possa distinguerle”.
“Qualche mese fa le IA facevano illustrazioni piuttosto semplici e oggi vengo a vedere questo”.
“È incredibilmente buono, è come un’arte instabile, che si può vedere solo ora che l’IA si sta evolvendo”.
“Se riuscissimo a risolvere i problemi di disegno dei deod, sarebbe una svolta per le IA”.
“L’effetto sfarfallio, anche se ne conosciamo il motivo, dà un certo tocco speciale al video finale”.
“Si tratta di un uso interessante dell’IA. Non si tratta solo di qualcuno che finge di essere un artista utilizzando la generazione di AI, ma di una sorta di test e di un caso d’uso unico”.