Su Nature trovate l’articolo che spiega come è stata addestrata World and Human Action Model (WHAM). Il WHAM o “Muse”, è un modello di intelligenza artificiale generativa di un videogioco in grado di generare immagini di gioco, azioni del controller o entrambe. In sostanza viene presentato come un generatore di gameplay. Come si legge qui è stata addestrata tramite i dati provenienti dallo sparatutto Bleeding Edge, esperienza multiplayer creata da Ninja Theory nel 2020 che è stata “dismessa” dalla software house britannica un anno più tardi.
Stando alla presentazione di Microsoft, Muse è in grado di generare sequenze di gioco partendo da un frammento di azione reale (le dichiarazioni della casa di Redmond parlano di “un secondo” di sequenze di gameplay) e riuscendo a riprodurre movimenti, ambienti e modelli dei personaggi con coerenza. Può generare immagini di gioco e azioni del controller, prevedendo l’evoluzione del gioco fotogramma per fotogramma da una sequenza iniziale di prompt. Attualmente, è in grado di produrre visualizzazioni a una risoluzione di 300×180 pixel, il che rappresenta un passo avanti rispetto ai precedenti modelli, ma è ancora lontano dalle risoluzioni standard come il 1080p.
Come funziona.
Bleeding Edge, è un gioco di Xbox del 2020: 4 contro 4 online. Muse è stato addestrato su dati di gioco umani (immagini e azioni del controller) mostrato qui alla risoluzione di 300×180 px su oltre 1 miliardo di immagini e azioni del controller, corrispondenti a oltre 7 anni di gioco umano continuo.
Qui sotto c’è il modello di partenza con davanti allo schermo un giocatore umano.
Qu invece le immagini generate tramite Muse (utilizzando WHAM-206M) dopo 100.000 aggiornamenti di addestramento e dopo 1 milione.
e dopo 1 milione di aggiornamenti.
Il modello ha imparato sempre di più. Ecco cosa scrivono i ricercatori: . Dopo 100.000 aggiornamenti di addestramento, il modello è coerente nel tempo ma non cattura ancora aspetti relativamente meno frequenti delle dinamiche di gioco, come la meccanica di volo. La coerenza con la base di base continua a migliorare con l’addestramento aggiuntivo, ad esempio, la meccanica di volo viene catturata dopo 1 milione di aggiornamenti di addestramento.
Qui sotto la demo del WHAM Demonstrator, un prototipo sviluppato durante un hackathon interno di Microsoft, consente agli utenti di interagire con Muse, consentendo l’esplorazione di nuovi paradigmi di interazione e usi creativi.
Gli autori hanno rilasciato i pesi aperti di Muse, il WHAM Demonstrator sarà quindi rilasciato in formato aperto per essere usato e migliorato dalla comunità degli sviluppatori.
A cosa serve? Può generare immagini di gioco e azioni del controller, prevedendo l’evoluzione del gioco fotogramma per fotogramma da una sequenza iniziale di prompt. Ciò consente l’esplorazione creativa all’interno del gioco, consentendo agli utenti di iniziare da qualsiasi punto e aggiungere elementi per osservare le reazioni del modello. L’obiettivo principale di Muse è quello di migliorare la creatività degli sviluppatori, semplificando le fasi iniziali dello sviluppo dei giochi, preservando i giochi classici e ottimizzandoli per i sistemi moderni. È importante notare che Muse non è destinato a sostituire i creatori umani, ma piuttosto ad aumentare e supportare i loro processi creativi.
Per approfondire.
Nasce Genie, il modello di Ai per creare videogiochi da una singola immagine
Come funziona Sima la nuova Ai di Google che completa i videogiochi al posto vostro
Come si producono (e si raccontano) i videogiochi? #PlayThinkTalk
Videogiochi diversamente progettati. Come è nato Promesa? #PlayThinkTalk
Nvidia lancia il nuovo assistente in-game per il videogioco. E potrebbe essere una rivoluzione
Videogiochi: gli Npc di Nvidia sono davvero diventati autonomi?
Le simulazioni di Doom e SuperMario realizzati dall’intelligenza artificiale “studiando” i gameplay
Chi è James? Ecco come si costruiscono gli umani digitali
