Perché le cattive incentivazioni alimentano le allucinazioni dell'IA

Il problema delle allucinazioni nell'intelligenza artificiale

Le allucinazioni generate dai modelli di linguaggio di grande scala rappresentano un problema fondamentale nel campo dell'intelligenza artificiale, manifestandosi come dichiarazioni plausibili ma false, spesso molto convincenti. Questi errori, sebbene migliorino con l'evoluzione delle tecnologie, permangono come uno dei principali ostacoli da superare.

Origini delle allucinazioni

Le cause di tali errori sono molteplici, ma una delle principali risiede nel metodo di pretraining utilizzato. I modelli vengono addestrati a predire la parola successiva in una sequenza di testo, senza che siano presenti etichette di vero o falso. Questo metodo si basa sull'apprendimento delle strutture linguistiche e dei pattern più frequenti, eliminando errori ripetuti in ambiti come ortografia o punteggiatura. Tuttavia, per fatti poco frequenti o specifici, come una data di nascita, il modello può generare risposte incorrecte perché mancano di un contesto reale e verificabile.

Valutazione e incentivi sbagliati

Il cuore del problema, secondo un recente studio, risiede nel sistema di valutazione utilizzato per misurare le prestazioni dei modelli di IA. I metodi attuali premiano la precisione, incentivando quindi l'errore di dare risposte con elevata fiducia anche se false, per aumentare il punteggio complessivo. Questo comportamento può portare i modelli a 'indovinare' più frequentemente, a discapito della partecipazione onesta, specialmente quando le risposte sono difficili o poco note.

Proposte di soluzione

Per affrontare questa sfida, gli autori del nuovo studio suggeriscono di modificare i criteri di valutazione dei modelli di linguaggio. Introdurre sistemi di punteggio che penalizzino le risposte troppo fiduciose e premiare invece l'incertezza appropriata potrebbe ridurre le allucinazioni. Analogamente ai test scolastici, che scoraggiano le risposte di pura fortuna, i nuovi criteri dovrebbero incentivare i modelli a esprimere chiaramente quando non sono certi di una risposta.

Conclusioni

• Le allucinazioni dell'IA sono in parte dovute ai meccanismi di training e alle modalità di valutazione.
• Il miglioramento delle metriche di valutazione è cruciale per ridurre gli errori e i comportamenti di guessing.
• Un approccio più equilibrato nelle valutazioni può aiutare a creare modelli più affidabili.