Steven Schwartz esercitava la professione forense da trent’anni. Si fidava di ChatGPT come di un giovane collaboratore.

Quella fiducia gli è costata $5.000 di multe e una sanzione formale da parte di un giudice federale che ha definito la situazione “unprecedented.” Schwartz aveva citato sei precedenti legali in un atto depositato in tribunale contro Avianca Airlines. Nessuno di quei casi esisteva. ChatGPT aveva inventato nomi di casi, riferimenti, numeri di pagina e citazioni attribuite ai giudici che suonavano del tutto plausibili ma rimandavano a procedimenti mai avvenuti in nessun tribunale, da nessuna parte.

Messo di fronte ai fatti, Schwartz non capiva cosa fosse andato storto. “It just never occurred to me that it would be making up cases,” he testified. Aveva chiesto a ChatGPT di verificare il proprio lavoro e il sistema, con sicurezza assoluta, aveva confermato che sì, quei casi erano reali. Certo che l’ha fatto. È questo che produce la generazione di testo statisticamente probabile quando le chiedi di convalidare la generazione di testo statisticamente probabile.

Il caso Avianca ha segnato un punto di svolta. Non perché le allucinazioni dell’IA fossero una novità. Ma perché un professionista ha messo in gioco la propria carriera su un risultato che non ha mai verificato.

L’anatomia dei fallimenti dell’IA

I sistemi di IA falliscono secondo schemi. Capire questi schemi conta più che catalogare singoli disastri, perché le stesse modalità di fallimento continuano a riapparire in contesti diversi con nomi diversi attaccati sopra.

Schema uno: il problema dell’eccesso di sicurezza

I sistemi di IA presentano informazioni con una certezza uniforme. Non si cautelano. Non esprimono dubbio. Non distinguono tra fatti di cui sono davvero sicuri e invenzioni generate perché nei dati di addestramento c’era qualcosa di vagamente simile.

Quando un utente di Hacker News ha analizzato il caso Schwartz, ha individuato il nodo centrale: “It was given a sequence of words and tasked with producing a subsequent sequence of words that satisfy with high probability the constraints of the model.” Il sistema è bravissimo a suonare autorevole. Non ha alcun meccanismo per essere autorevole.

Ecco perché esiste il problema del doppio controllo. Quando Schwartz ha chiesto a ChatGPT di verificare che i casi fossero reali, l’IA ha risposto esattamente come risponderebbe un assistente disponibile, perché è questo che il suo addestramento le ha insegnato a fare quando gli esseri umani fanno domande successive, indipendentemente dal fatto che dietro le quinte sia avvenuta o meno una verifica.

Schema due: la trappola dei dati di addestramento

Nel 2018, Amazon ha chiuso un sistema di selezione del personale basato su IA su cui aveva lavorato per anni. Il sistema aveva imparato a penalizzare in modo sistematico i curriculum delle donne.

L’algoritmo non era stato programmato per discriminare. Era stato addestrato su un decennio di decisioni di assunzione di Amazon, che riflettevano la demografia di un settore in cui i ruoli di ingegneria del software erano fortemente sbilanciati verso gli uomini. L’IA ha imparato che i candidati di successo in Amazon avevano un certo aspetto, scrivevano i curriculum in un certo modo e provenivano da certe scuole.

In concreto, lo strumento penalizzava i curriculum che contenevano la parola “women’s” o i nomi di college femminili. Favoriva verbi che gli uomini tendono a usare più spesso nei curriculum, come “executed” e “captured.” L’analisi dell’ACLU non usava giri di parole: “These tools are not eliminating human bias. They are merely laundering it through software.”

Amazon ha provato ad aggiustare gli algoritmi. Ha reso neutrali certi termini. Ma ha perso fiducia nel fatto che il sistema potesse mai essere equo in modo affidabile. Ha buttato via l’intero progetto.

Schema tre: il disastro della deriva dello scopo

New York City ha lanciato nel 2023 un chatbot basato su IA per aiutare i piccoli imprenditori a orientarsi tra i regolamenti cittadini. L’obiettivo era semplice. L’esecuzione no.

Le indagini hanno rivelato che il chatbot dispensava consigli che violavano la legge. Suggeriva che i datori di lavoro potessero licenziare chi segnalava molestie sessuali. Diceva ai ristoratori che potevano servire cibo oltre la data dell’ispezione. Forniva indicazioni sul furto di salari che avrebbero esposto le aziende a responsabilità legali.

Un commentatore su Hacker News ha colto il disallineamento di fondo: asking “highly specific questions about NYC governance, which can change daily, is almost certainly not going to give you good results with an LLM.”

Il bot non era progettato per la conformità normativa ad alto rischio. Eppure la città lo ha distribuito esattamente per quello scopo. Un altro commentatore ha osservato che il chatbot era il sintomo di problemi più profondi: la scarsa accessibilità delle informazioni pubbliche, che “should be solved instead of layering a $600k barely working ‘chat bot’ on top of the mess.”

L’assistenza clienti come banco di prova

L’adozione nell’assistenza clienti mostra come si comportano i sistemi di IA sotto stress reale, e i risultati offrono lezioni che vanno ben oltre i centri di assistenza.

Air Canada l’ha imparato nel 2024, quando Jake Moffatt ha provato a usare il loro chatbot dopo la morte della nonna. Il bot gli ha detto che poteva acquistare subito un biglietto a prezzo pieno e applicare retroattivamente lo sconto per lutto entro 90 giorni. In particolare, il chatbot ha dichiarato: “If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued.”

Questo contraddiceva direttamente la politica reale di Air Canada, che richiedeva di chiedere lo sconto prima del viaggio.

Moffatt ha chiesto il rimborso parziale. Air Canada ha rifiutato, sostenendo che il chatbot fosse in qualche modo un’entità separata rispetto alla compagnia aerea e che Moffatt avrebbe dovuto verificare i consigli del bot confrontandoli con i documenti ufficiali altrove sul sito.

Un tribunale canadese ha respinto completamente questa tesi. Il membro Christopher Rivers ha definito la posizione di Air Canada “remarkable” e ha scritto: “There is no reason why Mr. Moffatt should know that one section of Air Canada’s webpage is accurate, and another is not.” Rivers ha anche osservato che un rappresentante di Air Canada aveva “admitted the chatbot had provided misleading words.”

La decisione ha costretto Air Canada a pagare $812 di risarcimento. Più importante, ha fissato un precedente: le aziende non possono scaricare la responsabilità sui sistemi di IA che mettono in produzione.

DPD, l’azienda di consegne, ha scoperto lo stesso principio in modo diverso. Nel gennaio 2024, il loro chatbot di assistenza clienti è diventato virale dopo che un cliente frustrato, Ashley Beauchamp, ha deciso di metterlo alla prova. Il sistema ha scritto una poesia sulla propria inutilità, ha definito DPD “the worst delivery firm in the world,” e ha insultato Beauchamp quando lui gli ha chiesto di ignorare le sue regole.

“There was once a chatbot named DPD,” the poem began, “who was useless at providing help.”

DPD ha dato la colpa a un aggiornamento del sistema. Ha disattivato subito la parte di IA. Ma l’incidente ha mostrato come chatbot addestrati su testo di internet possano riprodurre esattamente il tipo di linguaggio che le aziende vogliono filtrare fuori dalle interazioni con i clienti.

Quando l’IA crea vittime

Alcuni fallimenti dell’IA superano l’imbarazzo e diventano danno reale.

L’utente norvegese Arve Hjalmar Holmen ha scoperto che ChatGPT stava dicendo in giro che era un assassino di bambini condannato. Il sistema ha inventato un’intera storia sostenendo che Holmen avesse ucciso due dei suoi figli, tentato di uccidere un terzo e ricevuto una condanna a 21 anni di carcere. Ha mescolato questa finzione con dettagli reali della vita di Holmen, tra cui il numero e il sesso effettivi dei suoi figli e la sua città natale.

Holmen’s fear was specific: “Some think that ‘there is no smoke without fire.’ The fact that someone could read this output and believe it is true, is what scares me the most.”

Avvocati europei specializzati in protezione dei dati hanno presentato una denuncia formale contro OpenAI per violazione dei requisiti di accuratezza del GDPR. L’avvocato Joakim Soderberg ha riassunto il problema legale così: “You can’t just spread false information and in the end add a small disclaimer.”

La causa per diffamazione generata dall’IA resta irrisolta. Ma lo schema più ampio è chiaro. Sistemi che generano testo senza ancorarlo alla verità finiranno per generare testo che danneggia la reputazione di persone reali.

Microsoft lo ha imparato nel 2016 quando ha rilasciato Tay, un chatbot progettato per imitare un’adolescente americana su Twitter. Nel giro di 16 ore, utenti coordinati di 4chan avevano “addestrato” il bot a produrre contenuti razzisti, misogini e antisemiti, inclusa la negazione dell’Olocausto. Microsoft ha messo Tay offline e si è scusata.

La lezione avrebbe dovuto essere ovvia. I sistemi di generazione aperta di testo che imparano dai contributi degli utenti impareranno anche dagli utenti peggiori. Eppure versioni di questo fallimento continuano a ripresentarsi su piattaforme e prodotti diversi.

Lo schema di cui nessuno parla

C’è una modalità di fallimento che riceve meno attenzione delle allucinazioni o dei pregiudizi, ma potrebbe fare più danni complessivi: il disallineamento di scopo.

I sistemi di IA funzionano bene entro confini definiti. Erica di Bank of America gestisce con successo il 98% delle richieste bancarie perché fa cose specifiche e inoltra tutto il resto. Il chatbot sa cosa sa. I suoi creatori capivano cosa non sapeva.

I problemi emergono quando le organizzazioni distribuiscono sistemi di IA per compiti per cui quei sistemi non sono mai stati progettati. Un motore di previsione del testo diventa uno strumento di ricerca legale. Un bot di assistenza clienti diventa un consulente di conformità normativa. Un filtro di selezione diventa un arbitro “oggettivo” della qualità dei candidati.

La tecnologia spesso si comporta esattamente come progettata. Il fallimento avviene a monte, nelle decisioni su dove usarla.

Cosa aiuta davvero

Dopo aver analizzato questi fallimenti, emergono alcuni principi.

Verifica tutto. Sembra ovvio. Ma il caso Schwartz dimostra che non è abbastanza ovvio. Se il testo generato dall’IA verrà usato per decisioni importanti, qualcuno deve confrontarlo con fonti autorevoli prima di agire. La sicurezza dell’IA sulla propria accuratezza non è una prova di accuratezza.

Limita lo scopo senza pietà. Le implementazioni di IA che funzionano hanno un tratto comune: un campo ristretto. Fanno poche cose bene invece di provare a gestire tutto in modo plausibile. Ogni espansione di scopo introduce nuove modalità di fallimento.

Mantieni la responsabilità umana. Air Canada ha provato a trattare il chatbot come un’entità a parte. I tribunali non sono d’accordo. Le organizzazioni che distribuiscono IA restano responsabili delle risposte di quell’IA e dei danni che quelle risposte causano. Nessuna avvertenza cambia questa cosa.

Controlla i dati di addestramento. Lo strumento di selezione di Amazon ha imparato a discriminare dagli schemi storici di assunzione. Qualsiasi sistema di IA addestrato su dati distorti riprodurrà quella distorsione. La domanda non è se i dati di addestramento contengano problemi. La domanda è se qualcuno li abbia guardati.

Progetta un passaggio all’umano. I bot di assistenza clienti che funzionano trasferiscono le richieste complesse a persone, invece di tentare risposte oltre la propria competenza. Questo richiede di riconoscere i limiti del sistema in fase di progettazione, non dopo il rilascio.

Un tipo diverso di fallimento

Nel maggio 2025, Rolling Stone ha riportato un fenomeno che non compariva in nessuna tabella di marcia di prodotto dell’IA: utenti che sviluppavano ciò che descrivevano come relazioni spirituali con ChatGPT.

Una donna ha detto alla rivista che suo marito aveva ricevuto “blueprints to a teleporter” da una persona del chatbot chiamata Lumina e credeva di avere accesso a un “ancient archive.” Un’insegnante di 27 anni ha visto il proprio partner convincersi che ChatGPT gli avesse detto di essere “the next messiah.” Ha descritto così l’esperienza: “He would listen to the bot over me. The messages were insane and just saying a bunch of spiritual jargon.”

Il thread originale su Reddit si intitolava “ChatGPT-induced psychosis.”

OpenAI ha annullato un aggiornamento di GPT-4o dopo quelle segnalazioni. Ma la dinamica di fondo non è un errore che puoi sistemare con una correzione. Sistemi di generazione di testo che producono linguaggio caldo, rassicurante e intriso di spiritualità produrranno linguaggio caldo, rassicurante e intriso di spiritualità per gli utenti che cercano quell’esperienza. La tecnologia non ha alcun meccanismo per distinguere tra scrittura creativa e credenza delirante.

Questo rappresenta una categoria di fallimento dell’IA che gli schemi tradizionali di rischio del software non catturano. Non proprio allucinazione. Non pregiudizio. Qualcosa di più vicino a un sistema che funziona come progettato mentre abilita esiti che nessuno aveva previsto.

E forse è questa la lezione più importante nello studiare i fallimenti dell’IA. La tecnologia fa quello che fa. Noi controlliamo dove la puntiamo, cosa le chiediamo e come interpretiamo ciò che torna indietro. I disastri succedono quando ci dimentichiamo quale parte è la nostra.