Sviluppato dai team di ricerca sull’intelligenza artificiale di Meta, Movie Gen è il nuovo text-to-video lanciato settimana scorsa dall’ex Facebook. E’ una risposta a Sora di OpenAI ma anche a Google e tutte le nuove startup che si stanno specializzando in questo mercato (in fondo trovate i link ai nuovi tools).
Cosa sappiamo? Tecnicamente è un modello di trasformatore a 30B parametri in grado di generare immagini e video di alta qualità e ad alta definizione a partire da una singola richiesta di testo. C’è anche Movie Gen Audio che invece è un modello di trasformatore a 13B parametri in grado di accettare un ingresso video insieme a messaggi di testo opzionali per la controllabilità, per generare audio ad alta fedeltà sincronizzato con il video. Può generare suoni ambientali, musica strumentale di sottofondo e suoni foley, offrendo risultati all’avanguardia in termini di qualità audio, allineamento video-audio e allineamento testo-audio. La sensazione è quello di avere un tool per la regia di video.
Infatti leggendo i documenti pubblicati sul sito viene spiegato come utilizzando come input un video generato o esistente e le istruzioni di testo che lo accompagnano, Movie Gen è in grado di eseguire modifiche localizzate, come l’aggiunta, la rimozione o la sostituzione di elementi, o modifiche globali, come la modifica dello sfondo o dello stile. E’ possibile inoltre creare video personalizzati utilizzando l’immagine di una persona e una richiesta di testo, il modello può generare un video con risultati all’avanguardia per quanto riguarda la conservazione del carattere e il movimento naturale nel video. Così come OpenAI (Sora), anche Meta non ha ancora rilasciato pubblicamente il modello e lo sta sottoponendo a test con alcuni creator e professionisti del settore cinematografico.
Per approfondire.
OpenAi Canvas, i video generativi di Meta e l’evoluzione di Copilot
Come funziona Firefly Video Model di Adobe?Matematica, catena di pensiero e coding. Cosa ha di diverso o1 di OpenAI?
Nasce Sora il modello text-to-video di OpenAi. Ecco come funziona
Ecco Luma Dream Machine, il nuovo tool di visual storytelling. La nostra recensione
Le altre puntate di Dataviz And Tools
Microsoft ha aggiornato Copilot. Ecco come si è evoluto
NotebookLM di Google trasforma i vostri documenti in podcast
Come funziona Firefly Video Model di Adobe?Matematica, catena di pensiero e coding. Cosa ha di diverso o1 di OpenAI?
Cosa sono e a cosa servono i servizi Gems di Gemini? #Ainews
Midjourney è accessibile a tutti via web e offre 25 crediti
Vi ricordate SearchGpt, il motore di ricerca di OpenAi? Cosa sappiamo finora?
Imagen 3 debutta negli Usa. Ecco cosa sappiamo del modello di Ai di Google
Cosa è e come funziona PartyRock?#DatavizAndTools
Come funziona Claude 3.5 Sonnet e cosa sa fare: i test superati #DatavizAndTools
DeepMind presenta V2A la nuova Ai per creare suoni e colonne sonore per i video
Ecco Luma Dream Machine, il nuovo tool di visual storytelling. La nostra recensione
Ecco come funziona DeepL Enterprise, l’Ai linguistica per le aziende della startup tedesca
Come funziona Italia 9B e quali vantaggi dà un large language model italiano?
Llava è un modello multimodale di grandi dimensioni con capacità “visive”. Ecco come funziona
Haiku, Sonnet e Opus riescono a gestire una finestra di contesto da 200.000 token. Cosa vuole dire?
Come funziona l’analisi dei dati su ChatGpt? #DatavizAndTools
Da Project Astra a Veo. Tutte le novità di Gemini presentate al Google I/O 2024 in sei video
AI Overview, come cambia il motore di ricerca di Google con Gemini?
Arriva Gpt-4o, ecco cosa ha di diverso il nuovo chatbot di OpenAI
Cosa è Microsoft Places? Ecco come funziona la nuova applicazione per la gestione dei luoghi
Come si installa e come funziona Phi-3 di Microsoft #DatavizAndTools
Come funzionano le nuove estensioni di Gemini?
Gpt-4, Gemini e Gemini 1.5 Pro. Scopri le differenze
Cerchia e cerca e altre novità Ai di Google sui telefonini Android
Come funziona Sima la nuova Ai di Google che completa i videogiochi al posto vostro
Come funziona e a cosa serve Ecco lo European Statistical Monitor?
Claude 3 di Anthropic è più potente di ChatGPt? Ecco quello che c’è da sapere.
Nasce Genie, il modello di Ai per creare videogiochi da una singola immagine
Ecco cosa promette il generatore di immagini Stable Diffusion 3
Gemma 2B e Gemma 7B. Ecco cosa si può fare con i modelli open source di Gemini
Da Adobe domande e riassunti con l’Ai gen su documenti Pdf
Nasce Sora il modello text-to-video di OpenAi. Ecco come funziona
Come funziona Lumiere l’Ai di Google che genera video dal testo #DatavizAndTools
Microsoft Copilot ora è su tutti gli smartphone. #DatavizAndTools
Come funzionano Nightshade e Glaze? #DatavizAndTools
Fotoritocco, come funzionano Abobe Photoshop Elements e Premiere? #DatavizAndTools
Ecco come funziona Q il nuovo chatbot di AWS? #DatavizAndTools
Ecco come funziona Microsoft 365 Copilot, l’AI generativa entra nelle app di Office
Ecco come funziona GraphCast il nuovo modello per le previsioni meteorologiche globali di DeepMind
Cosa è e come funziona Code Interpreter per Gpt-4?
Come riconoscere immagini e testi generati dall’AI?
La matematica della ricchezza, la disuguaglianza inevitabile e l’econofisica
Wikipedia, l’intelligenza collettiva e gli affari #datavizandtool
Come si costruisce una mappa di Milano con ChatGpt? #datavizandtools
Come funziona MusicGen, il ChatGpt della musica di Meta #DatavizandTools
Bing, come funziona il copilota di Microsoft per il web? #DatavizAndTools
Le ultime novità “audio” dell’Ai generativa #DatavizAndTools
Gpt-4 vs Bard, cinque domande: chi risponde meglio? #howmeasuring
A proposito di mappe, cosa è Overture Maps Foundation? #DatavizAndTools
Ecco le nuove funzionalità di intelligenza artificiale generativa di Photoshop
