Una rete neurale impara a generalizzare come gli umani

L'intelligenza artificiale diventa capace di generalizzare, ovvero di apprendere nuovi concetti e combinarli con altri già noti proprio come fanno gli umani: questo grazie a una nuova tecnica di addestramento che potrebbe essere usata per affinare anche i grandi modelli linguistici come ChatGpt. Lo dimostra lo studio nature.com/articles/s41586-023-06668-3">pubblicato sulla rivista Nature dall'esperto di psicologia e data science Brenden M. Lake, della New York University, e dal linguista italiano Marco Baroni, che lavora all’Università Pompeu Fabra in Spagna.

I risultati dei loro esperimenti, condotti su una rete neurale addestrata, mettono in discussione l'ipotesi formulata negli anni Ottanta da due filosofi ed esperti di scienze cognitive, Jerry Fodor e Zenon Pylyshyn, secondo i quali le reti neurali artificiali non avrebbero la capacità di creare simili connessioni tra i concetti (definite come 'generalizzazioni composizionali') e dunque non sarebbero dei modelli in grado di riprodurre quanto accade nel cervello umano.

"Per 35 anni - spiega Lake - i ricercatori nel campo delle scienze cognitive, dell'intelligenza artificiale, della linguistica e della filosofia hanno discusso se le reti neurali potessero raggiungere una generalizzazione sistematica simile a quella umana. Per la prima volta abbiamo dimostrato che una rete neurale generica può imitare o superare la generalizzazione sistematica umana in un confronto testa a testa”.

A renderlo possibile è una nuova tecnica di apprendimento denominata Mlc (Meta-learning for Compositionality). Questa procedura prevede che alla rete neurale venga insegnata una nuova parola (ad esempio 'salta') e poi le si chieda di usarla per creare nuove combinazioni con altre parole già note (come 'salta due volte' oppure 'salta due volte a destra'). Successivamente si passa a un'altra parola e così via, affinando di volta in volta la sua capacità di fare delle composizioni.

L'intelligenza artificiale così addestrata è stata messa a confronto con dei partecipanti umani per vedere chi se la cavava meglio nell'apprendere e combinare parole totalmente inventate. I risultati dimostrano che la rete neurale ha ottenuto performance paragonabili a quelle degli umani e in alcuni casi li ha perfino superati. Sia la rete neurale addestrata con Mlc sia i partecipanti in carne e ossa hanno battuto ChatGpt e Gpt-4. "I grandi modelli linguistici come ChatGpt hanno ancora difficoltà con la generalizzazione composizionale, anche se negli ultimi anni sono migliorati - osserva Baroni - ma riteniamo che l’Mlc possa migliorare ulteriormente le loro capacità composizionali”.