La “distillazione della conoscenza” è un processo di trasferimento delle conoscenze da un modello AI “insegnante” (teacher) di grandi dimensioni a un modello “studente” (student) più piccolo, preservandone le prestazioni. Concettualizzata da Geoffrey Hinton nel 2015, trae spunto da un lavoro pionieristico del 2006 su reti neurali. L’idea centrale è che il modello studente non si limita a imitare le risposte corrette, ma apprende dal teacher la logica di funzionamento generale con cui fornirle agli utenti. Ovvero apprende le relazioni probabilistiche che ci sono tra le classi semantiche alla base dei dati di training.
Immaginiamola come una scorciatoia per creare un modello IA in modo più efficiente. Nei tradizionali approcci di machine learning che sono alla base dei grandi e noti modelli come Gpt-4 di OpenAi, Gemini di Google e Llama di Meta, i dati sono spesso pre-etichettati da esseri umani o sistemi automatizzati. Nella distillazione è invece il modello teacher a generare i dati di training per lo studente.
In particolare, poi, il genio di Deepseek è stato di trovare un buon metodo per attuare questa distillazione con risultati migliori dei precedenti. Ha sfruttato una strategia ibrida: il 40% dei dati deriva da annotazioni manuali curate da esperti di dominio, il 35% da campionamenti guidati di large language model e il restante 25% da dati ottimizzati via reinforcement learning (apprendimento di rinforzo). Questo mix cerca di bilanciare efficienza, accuratezza, creatività e allineamento ai valori umani. Qui sul Sole 24 Ore.com il resto dell’articolo di Alessandro Longo.
Per approfondire.
Tra qualche mese uscirà il prossimo Gpt-5 che integrerà o3 il modello di ragionamento più avanzato
ChatGpt su WhatsApp ascolta i vocali e legge le immagini #DatavizAndTools
Sam Altman dalla “parte sbagliata della storia”
OpenAi aggiorna Canvas. Ecco cosa cambia con o1
Come funziona Operator di OpenAi? #DatavizAndTools
ChatGpt Task è una to-do-list per le tue attività quotidiane
Come funziona Canvas la nuova interfaccia per ChatGpt? #DatavizAndTools
Ecco come funziona o1, il modello di OpenAi che “pensa” prima di rispondere
Disponibile ChatGpt per Windows. Ecco cosa cambia #DatavizAndTools
L’informazione, i giornali, i viaggi e il senso della vita. La prova di SearchGpt
SearchGpt sta arrivando. OpenAi sfida Google sui motori di ricerca. Ecco cosa sappiamo finora
Che fine ha fatto SearchGpt, il motore di ricerca di OpenAi?
Cosa è AI Overview? Ecco come sta cambiando il motore di ricerca di Google con Gemini
Cosa è WildChat? Più di un milione di prompt (e risposte) per allenare il vostro chatbot
Come si scrive un prompt per Midjourney?
L’Ai Gen si è convertita all’ideologia “woke”? #PromptAnalysis
Quali caratteristiche deve avere un cantante per vincere Sanremo? Risponde Gpt4
