Con il recente annuncio di
X-Portrait 2 consente ai creatori di animare ritratti da una singola immagine fissa e un video di riferimento, che possono avere molteplici applicazioni nell’intrattenimento, nei social media, nei film e nei videogiochi.
Successivamente esploreremo in modo approfondito il funzionamento, le caratteristiche e le possibili implicazioni etiche di questa tecnologia di intelligenza artificiale.
Cos’è X-Portrait 2?
X-Portrait 2 è una tecnologia che utilizza modelli generativi avanzati per animare immagini statiche di volti, replicando gesti, movimenti ed espressioni facciali da un video di riferimento.
A differenza di altri strumenti di generazione video, X-Portrait 2 è stato sviluppato appositamente per catturare dettagli molto fini, raggiungendo un livello di espressività e precisione che in precedenza era possibile solo con complesse tecniche di motion capture.
Dai sorrisi sottili alle espressioni complicate come gonfiare le guance, sporgere la lingua o accigliarsi, questa tecnologia può trasferire ogni minimo dettaglio espressivo, mantenendo la fedeltà dei tratti del viso originali nell’immagine statica.
Lo strumento è particolarmente utile per animatori e creatori di contenuti poiché offre un’alternativa più accessibile all’animazione tradizionale o al motion capture, riducendo significativamente il tempo e le risorse necessarie per creare scene realistiche.
Come funziona X-Portrait 2?
X-Portrait 2 utilizza una combinazione di intelligenza artificiale e modelli di diffusione latente, che generano animazioni da un’immagine fissa (chiamata “ritratto di riferimento”) e un video che fornisce espressioni e movimenti facciali (noto come “video di guida”).
Questi modelli di diffusione latente funzionano scomponendo il processo di generazione dell’immagine in più passaggi, consentendo il controllo granulare dell’identità e delle espressioni del volto.
Per garantire che ogni espressione facciale venga trasferita accuratamente e che l’identità del volto originale non venga alterata, X-Portrait 2 impiega moduli avanzati di attenzione al movimento, incluso ControlNet, un sistema che garantisce che il trasferimento dei gesti sia coerente e realistico.
ControlNet, in particolare, è in grado di mappare i punti di riferimento facciali dal video di guida al ritratto di riferimento, il che è fondamentale per ottenere un’animazione naturale e fluida.
Concorrenti nel campo dell’animazione dei ritratti
X-Portrait 2 deve far fronte alla crescente concorrenza di strumenti che applicano l’intelligenza artificiale all’animazione dei volti e alla manipolazione di immagini e video. I concorrenti degni di nota in questo spazio includono:
Atto primo della sfilata
Una delle alternative più avanzate, Runway Act-One utilizza modelli di deep learning per l’animazione di immagini e la generazione di video da istruzioni testuali.
Sebbene il focus iniziale di Runway fosse sull’editing video per i creatori di contenuti, la piattaforma ha introdotto anche strumenti per l’animazione facciale che consentono di generare movimenti ed espressioni da un volto statico.
Tuttavia, a differenza di X-Portrait 2, Act-One ha un orientamento più generale verso la creazione di video e l’editing digitale, mentre X-Portrait 2 è specializzato nella fedeltà delle espressioni e nei sottili dettagli del viso.
DeepFaceLab
Questo strumento open source è ampiamente utilizzato per creare deepfake ed è diventato popolare nella ricerca accademica e tra gli appassionati di elaborazione delle immagini.
Sebbene DeepFaceLab consenta la manipolazione avanzata dei volti nei video, manca della precisione nei dettagli espressivi che X-Portrait 2 può offrire.
Rifacimento
Orientato al consumatore, Reface consente agli utenti di cambiare volto in brevi video e GIF in modo rapido e divertente.
Sebbene sia un’opzione divertente per l’utente medio, manca delle capacità tecniche e di dettaglio offerte da X-Portrait 2, soprattutto quando si tratta della qualità di trasferimento di espressioni facciali specifiche e complesse.
Come testare X-Portrait 2?
X-Portrait 2 non è ancora ampiamente disponibile al grande pubblico, ma chi è interessato a sperimentare questa tecnologia dovrebbe avere accesso a determinate risorse.
Attualmente, il modello richiede hardware potente (come GPU di fascia alta), a causa della complessità dei calcoli necessari per trasferire i movimenti e le espressioni.
Secondo la documentazione, il codice sorgente di X-Portrait 2 è disponibile su GitHub, che consente agli sviluppatori e agli accademici di testare e sperimentare lo strumento in modo controllato e non commerciale.
Per ottenere i migliori risultati, gli utenti necessitano di immagini di alta qualità e video di riferimento che catturino chiaramente le espressioni facciali che desiderano trasferire. Puoi vedere alcuni esempi nella loro pagina di presentazione.
ByteDance ha indicato che lavorerà su versioni future che ottimizzeranno il modello per ridurre le esigenze hardware, rendendo più facile l’accesso per un pubblico più ampio.
La tecnologia di animazione dei ritratti è pericolosa?
Lo sviluppo di tecnologie come X-Portrait 2 porta con sé diverse preoccupazioni riguardo un suo possibile utilizzo improprio, soprattutto in un contesto in cui i deepfake hanno già suscitato polemiche.
Facilitando la creazione di animazioni facciali realistiche, esiste il rischio che questa tecnologia venga utilizzata per scopi ingannevoli o addirittura criminali, come la creazione di video falsi di personaggi pubblici o la diffusione di contenuti manipolati senza consenso.
Per mitigare questi rischi, è essenziale che ByteDance e altri sviluppatori di tecnologie simili stabiliscano politiche e controlli etici. Ad esempio:
- Limitare l’uso di questi strumenti ad applicazioni controllate e vietarne la distribuzione di massa finché non saranno implementati metodi di verifica robusti.
- Includere marcatori visivi o di metadati nei video generati che ci consentano di identificare che il contenuto è stato generato dall’intelligenza artificiale, il che aiuterebbe a prevenire l’utilizzo dei video per scopi dannosi.
E, naturalmente, collaborare con le autorità di regolamentazione per creare leggi che proteggano dall’uso improprio delle tecnologie deepfake e di animazione dei ritratti.
In diversi paesi hanno già iniziato ad essere implementate leggi contro la creazione di deepfake non autorizzati, creando un importante precedente per l’uso etico di X-Portrait 2 e tecnologie simili.
This post is also available in: