C'è una nuova suite di creazione basata su Unity 3D che utilizza l'acquisizione delle prestazioni di Live2D tramite il toolkit di realtà aumentata ARCore di Google. Il software consente il tracciamento facciale in tempo reale tramite webcam o altro dispositivo di acquisizione, con output renderizzato mentre vengono visualizzate le prestazioni o i movimenti.

Denchi Soft ha lanciato un video di quasi dieci minuti per mostrare come funziona il software e dimostrare cosa ci si può aspettare dal kit quando alla fine verrà rilasciato al pubblico a un certo punto nel primo trimestre del 2020.

Puoi dare un'occhiata alla dimostrazione video qui sotto.

Quindi, come delinea il video, i dati del viso vengono letti e archiviati da ARCore e quindi immessi nella pipeline di apprendimento neurale Tensor Flow che è agganciata al Barracuda di Unity 3D. Da lì, i dati vengono trasmessi in streaming attraverso un protocollo UDP al principale Studio VTube frontend durante l'utilizzo delle animazioni di Live2D e dei controlli dell'interfaccia utente.

Dopo aver trattato le basi di come funziona il software, ci viene quindi fornita una dimostrazione di come la colorazione del colore e l'illuminazione renderizzata fisicamente possono essere applicate anche ai modelli Live2D, creando la percezione dell'illuminazione dinamica in tempo reale.

Puoi anche personalizzare lo sfondo, importare diverse scene e persino impostare tasti di scelta rapida in modo da poter modificare le espressioni del viso, caricare macro personalizzate e creare reazioni specifiche per ravvivare il live streaming.

Esistono già alcune soluzioni 3D che si comportano in modo simile a cosa Studio VTube puoi farlo, ma se tu fossi più interessato all'utilizzo di personaggi disegnati a mano, come mostrato nel video sopra, allora Studio VTube è sicuramente la strada da percorrere.

Se YouTube non stesse implodendo, probabilmente direi che ci sarebbero stati tempi entusiasmanti per i virtual-tuberi, ma al momento non sembra troppo bello per gli appassionati che cercano di entrare nella creazione di contenuti, a meno che ovviamente non lo stiate facendo solo per il diavolo e di non generare effettivamente entrate significative dallo sforzo.

È possibile saperne di più su Studio VTube da Denchi Soft controllando il Pagina GitHub.

(Grazie per il suggerimento di notizie Wondy Bergers)