Musica, ecco come funziona Dream Track #DatavizAndTools

Google DeepMind ha presentato la sua ultima innovazione nel campo della generazione musicale AI: Lyria. Questo modello avanzato è il risultato della collaborazione con YouTube e si distingue per la sua capacità di creare musica complessa con strumentazione e voci realistiche. Lyria introduce Dream Track su YouTube Shorts, che consente agli artisti di connettersi in modo nuovo con il loro pubblico, e strumenti di AI musicale, progettati per arricchire il processo creativo dei musicisti. Inoltre, ogni output musicale di Lyria viene marcato con SynthID per garantire la responsabilità nell’uso delle tecnologie generative. Queste iniziative sono parte di un impegno più ampio per lo sviluppo responsabile di strumenti di generazione musicale, in costante dialogo con l’industria musicale e la comunità artistica più vasta​​.

Come funziona? 

Gli utenti possono inserire un argomento e scegliere un artista, e Dream Track crea automaticamente testi e tracce audio con la voce in stile dell’artista selezionato, facilitando nuove connessioni tra artisti e fan. Funziona in tre fasi:

1. Input: L’utente fornisce un input a Dream Track, che può essere un suggerimento di testo, una melodia canticchiata o una combinazione dei due.
2. Generare: Dream Track utilizza il modello Lyria per generare un brano musicale che corrisponde all’input dell’utente. Il brano include testi, una base musicale e una voce generata da AI.
3. Output: Dream Track genera un file audio del brano musicale.

L’input dell’utente può fornire informazioni sul genere musicale, sull’umore o sul tema del brano che desidera creare. Ad esempio, un utente potrebbe inserire il testo “una ballata acustica d’amore”. Dream Track utilizzerebbe quindi il modello Lyria per generare un brano musicale che corrisponda a queste indicazioni. La voce generata da AI è creata utilizzando un processo chiamato sintesi vocale. La sintesi vocale è un campo dell’intelligenza artificiale che consente di creare voci artificiali che suonano come voci umane. Dream Track utilizza un modello di sintesi vocale chiamato WaveNet, sviluppato da Google AI.

Come funziona Lyria

Lyria è un modello di apprendimento automatico di tipo transformer. I transformer sono un tipo di rete neurale che sono particolarmente efficaci per il trattamento di sequenze di dati, come le sequenze di note musicali.

Lyria è stato addestrato su un dataset di musica che include oltre 10 milioni di brani. Il dataset include brani di diversi generi musicali, eseguiti da diversi artisti.

Lyria è in grado di generare musica di alta qualità. I brani generati da Lyria sono spesso indistinguibili da brani eseguiti da umani.

Le altre novità. 

YouTube sta anche lavorando su altre funzionalità di intelligenza artificiale musicale, tra cui:

• Un’app che consente alle persone di creare brani musicali da zero utilizzando un’interfaccia visiva.
• Un’app che consente alle persone di trasformare i propri brani in brani nello stile di altri artisti.

Queste funzionalità potrebbero avere un impatto significativo sull’industria musicale, rendendo più facile per le persone creare e condividere musica. Potrebbero anche portare alla nascita di nuovi generi musicali e di nuovi modi per ascoltare la musica.

Per approfondire. 

Ecco come funziona GraphCast il nuovo modello per le previsioni meteorologiche globali di DeepMind