Il progetto R2X e le altre novità dell'intelligenza artificiale sui Pc con Rtx di Nvidia

Dopo ChatRtx Nvidia rilancia e annuncia nuovi foundation model che potranno essere lanciati in locale sui computer che hanno le ultime schede grafica Geforce Rtx. .

Questi modelli – offerti come microservizi NVIDIA NIM – sono accelerati dalle nuove GPU GeForce RTX serie 50, che offrono prestazioni AI fino a 3.352 trilioni di operazioni al secondo e 32 GB di VRAM. Basate sull’architettura NVIDIA Blackwell, le RTX serie 50 sono le prime GPU consumer ad aggiungere il supporto per l’elaborazione FP4, aumentando di due volte le prestazioni dell’inferenza AI e consentendo l’esecuzione di modelli AI generativi in locale con un ingombro di memoria ridotto, rispetto all’hardware di precedente generazione.

I casi d’uso comprendono LLM (modelli linguistici di grandi dimensioni), modelli linguistici di visione, generazione di immagini, modelli di embedding per il retrieval-augmented generation, estrazione di PDF e computer vision. I microservizi NIM includono tutti i componenti necessari per l’esecuzione dell’intelligenza artificiale sui PC e sono ottimizzati per la distribuzione su tutte le Gpu Nvidia. Per semplificare l’utilizzo sono stati presentati gli AI Blueprints, flussi di lavoro preconfigurati basati su microservizi NIM, che coprono applicazioni come la creazione di contenuti e lo sviluppo di agenti AI. Qui trovate un elenco. E qui sotto il diagramma di funzionamento di Pdf to Podcast, per trasformare un file in Pdf in un podcast

Nvidia collaborerà con sviluppatori di modelli di rilievo, tra cui Black Forest Labs, Meta, Mistral e Stability AI, per offrire una gamma di microservizi NIM destinati a vari utilizzi, come modelli linguistici di grandi dimensioni (LLM), modelli visivo-linguistici, generazione di immagini, riconoscimento vocale e visione artificiale. In particolare, la famiglia di modelli open source Llama Nemotron sarà disponibile come microservizio NIM per PC e workstation RTX AI, eccellendo in compiti come l’esecuzione di istruzioni, chiamate di funzioni, chat, codifica e matematica.

Per dimostrare come gli appassionati e gli sviluppatori possano utilizzare NIM per creare agenti e assistenti AI, NVIDIA ha presentato in anteprima Project R2X, un avatar PC abilitato alla visione in grado di mettere le informazioni a portata di mano dell’utente, di assistere le app desktop e le videoconferenze, di leggere e riassumere documenti e altro ancora.