Co-LLM è un nuovo algoritmo sviluppato dal CSAIL del MIT per migliorare la collaborazione tra modelli linguistici. Funziona associando un LLM generico con un modello specializzato, attivando il secondo solo quando è necessario per ottenere risposte più accurate. Utilizza una “variabile di commutazione” per decidere se coinvolgere il modello esperto in alcune parti della risposta, similmente a come un project manager chiama uno specialista. Qui trovate l’articolo.
Questo approccio aumenta l’accuratezza in ambiti come richieste mediche e problemi matematici, riducendo al contempo il consumo di risorse. L’obiettivo è simulare il lavoro di squadra umano, elevando la precisione e l’efficienza delle risposte.
Uno dei difetti più evidenti dei chatbot in circolazione, come si legge in questo articolo del Mit, è quello di non sapere di non sapere. Ciòè non ammettono di non essere sicuri della risposta, tendono nella peggiore delle ipotesi a inventare di sana pianta quando non sanno, nella migliore a riassumere testi che potrebbero in qualche modo c’entrare. Gli umani invece sanno bene che per dare una risposta più informata, la mossa migliore sarebbe quella di telefonare a un amico con più conoscenze sull’argomento. Ecco quello che vuole fare questo algoritmo è appunto quello di insegnare agli LLM che anche se non hanno un amico devono cercarne uno.
Come funziona?
In pratica Co-LLM può abbinare un LLM di base di uso generale a un modello più specializzato e aiutarli a lavorare insieme. Mentre il primo elabora una risposta, Co-LLM esamina ogni parola (o token) all’interno della sua risposta per vedere dove può fare appello a una risposta più accurata dal modello esperto. Questo processo porta a risposte più accurate a cose come richieste mediche e problemi di matematica e ragionamento. Poiché il modello esperto non è necessario a ogni iterazione, ciò porta anche a una generazione di risposte più efficiente.
Cosa ha dimostrato lo studio.
Per dimostrare la flessibilità di Co-LLM, i ricercatori hanno utilizzato un dataset medico, BioASQ per accoppiare un LLM di base con LLM esperti in diversi domini, come il modello Meditron , che è pre-addestrato su dati medici non etichettati. Ciò ha consentito all’algoritmo di aiutare a rispondere alle richieste che un esperto biomedico riceverebbe in genere, come la denominazione dei meccanismi che causano una particolare malattia.
Ad esempio, se chiedessi a un semplice LLM da solo di nominare gli ingredienti di uno specifico farmaco da prescrizione, potrebbe rispondere in modo errato. Con l’ulteriore competenza di un modello specializzato in dati biomedici, otterresti una risposta più accurata. Co-LLM avvisa inoltre gli utenti su dove ricontrollare le risposte.
Per approfondire.
Imperfetta, caotica e tossica. Si può normalizzare l’intelligenza artificiale generativa?
