Secondo un nuovo studio pubblicato dal team di ricerca di Apple, i modelli di intelligenza artificiale di grandi dimensioni mostrano notevoli debolezze nel ragionamento logico. Lo studio, disponibile su arXiv, esamina la capacità di diversi modelli di linguaggio — tra cui quelli sviluppati da OpenAI e Meta — di affrontare compiti di ragionamento matematico, rivelando che anche piccole variazioni nel modo in cui le domande vengono poste possono influenzare pesantemente le risposte fornite dai modelli.
Apple ha riscontrato che i modelli di intelligenza artificiale tendono a basarsi su un riconoscimento di pattern piuttosto che su un autentico ragionamento logico. Questo comportamento li rende estremamente fragili: modifiche irrilevanti nel contesto o nell’informazione possono portare a risposte significativamente diverse, minando la loro affidabilità in situazioni che richiedono coerenza logica.
Un esempio citato nello studio riguarda un problema matematico che chiedeva il numero di kiwi raccolti in più giorni. Quando sono state introdotte informazioni irrilevanti, come la dimensione dei kiwi, i modelli hanno erroneamente modificato il totale finale, dimostrando quanto siano sensibili a dettagli che non dovrebbero influenzare il risultato.
Uno dei risultati più preoccupanti dello studio è l’osservazione che “cambiando semplicemente i nomi” in un problema, i modelli possono produrre risposte diverse fino al 10%. Questo sottolinea quanto il ragionamento formale sia lontano dall’essere una capacità consolidata in questi sistemi. Nonostante la loro sofisticazione, i modelli attuali si basano ancora su strategie di pattern matching, piuttosto che su una vera comprensione logica.
Apple suggerisce che, per superare questi limiti, l’intelligenza artificiale potrebbe dover combinare reti neurali con sistemi di ragionamento simbolico tradizionale, un approccio chiamato neurosimbolismo. Questa integrazione potrebbe permettere ai modelli di linguaggio di prendere decisioni più precise e di risolvere problemi con maggiore coerenza logica, affrontando meglio scenari reali dove la coerenza e l’accuratezza sono fondamentali.