Elisabetta Rosso in un articolo su Fanpage ha riportato i risultati di uno studio realizzato da Laion che messo in evidenza alcuni limiti logici dell’IA.
Sembra, infatti, che sia bastato il semplice indovinello di «Alice nel paese delle meraviglie» («Alice ha 3 fratelli e ha anche 2 sorelle. Quante sorelle ha il fratello di Alice?») per mettere in crisi anche i sistemi più sofisticati.

I ricercatori hanno testato i modelli GPT-3, GPT-4 e GPT-4o di OpenAI, Claude 3 Opus di Anthropic, i modelli Gemini di Google e Meta’s Llama,  il Mextral di Mistral AI, il Dbrx di Mosaic e il Comando R+ di Cohere. Nessuno è riuscito a risolvere l’enigma. “Abbiamo analizzato le statistiche di risposta e osservato un forte collasso nel ragionamento, sono incapaci di rispondere alla semplice domanda formulata, nonostante le forti capacità di ragionamento”, hanno spiegato i ricercatori.

“È bastato sottoporre all’IA un problema di buon senso semplice, breve e formulato in un linguaggio naturale conciso, facilmente risolvibile dagli esseri umani”. Solo il nuovo modello di OpenAI, GPT-4o, ha ottenuto un tasso di successo sufficiente (65% di risposte esatte, che corrisponde a un sei).