Steven Schwartz exerçait le droit depuis trente ans. Il faisait confiance à ChatGPT comme à un collaborateur junior.

Cette confiance lui a coûté 5 000 $ d’amende et une sanction formelle de la part d’un juge fédéral, qui a qualifié la situation de “unprecedented.” Schwartz avait cité six décisions de justice dans une requête contre Avianca Airlines. Aucune n’existait. ChatGPT avait inventé des noms d’affaires, des références, des numéros de page et des citations de juges qui paraissaient parfaitement plausibles, mais renvoyaient à des procédures qui n’ont jamais eu lieu dans aucun tribunal, nulle part.

Mis face aux faits, Schwartz ne comprenait pas ce qui avait dérapé. “It just never occurred to me that it would be making up cases,” a-t-il témoigné. Il avait demandé à ChatGPT de vérifier son propre travail, et le système avait confirmé avec aplomb que oui, ces affaires étaient réelles. Évidemment. C’est ce que produit la génération de texte statistiquement probable quand vous lui demandez de valider de la génération de texte statistiquement probable.

L’affaire Avianca a marqué un tournant. Pas parce que les hallucinations de l’IA étaient nouvelles. Mais parce qu’un professionnel a mis sa carrière en jeu sur un résultat qu’il n’a jamais vérifié.

L’anatomie d’un échec de l’IA

Les systèmes d’IA échouent selon des schémas. Comprendre ces schémas compte plus que de cataloguer des catastrophes isolées, parce que les mêmes modes de défaillance réapparaissent dans des contextes différents, avec des étiquettes différentes.

Schéma 1 : le problème de la confiance

Les systèmes d’IA présentent l’information avec une certitude uniforme. Ils ne nuancent pas. Ils n’expriment pas de doute. Ils ne distinguent pas entre des faits dont ils sont très sûrs et des inventions produites parce que les données d’entraînement contenaient quelque chose d’à peu près similaire.

Quand un utilisateur de Hacker News a analysé l’affaire Schwartz, il a pointé le cœur du problème : “It was given a sequence of words and tasked with producing a subsequent sequence of words that satisfy with high probability the constraints of the model.” Le système excelle à sonner comme une autorité. Il n’a aucun mécanisme pour en être une.

C’est pour ça que le problème du double contrôle existe. Quand Schwartz a demandé à ChatGPT de vérifier que les affaires étaient réelles, l’IA a répondu exactement comme le ferait un assistant serviable, parce que c’est ce que son entraînement lui a appris à faire quand des humains posent des questions de suivi, que la vérification ait réellement eu lieu en coulisses… ou pas.

Schéma 2 : le piège des données d’entraînement

En 2018, Amazon a mis à mort un outil de recrutement basé sur l’IA sur lequel l’entreprise avait travaillé pendant des années. Le système avait appris à dégrader systématiquement les CV de femmes.

L’algorithme n’avait pas été programmé pour discriminer. Il avait été entraîné sur une décennie de décisions d’embauche d’Amazon, qui reflétaient la démographie d’un secteur où les postes d’ingénierie logicielle restent très majoritairement masculins. L’IA a appris que, chez Amazon, les candidats retenus « ressemblaient » à un certain profil, rédigeaient leurs CV d’une certaine manière et venaient de certaines écoles.

Concrètement, l’outil pénalisait les CV contenant le mot “women’s” ou le nom d’établissements féminins. Il privilégiait des verbes que les hommes ont tendance à employer plus souvent dans leurs CV, comme “executed” et “captured.” L’analyse de l’ACLU était directe : “These tools are not eliminating human bias. They are merely laundering it through software.”

Amazon a tenté d’ajuster les algorithmes. L’entreprise a rendu certains termes neutres. Mais elle a perdu confiance dans la possibilité que le système puisse un jour être équitable de manière fiable. Elle a abandonné tout le projet.

Schéma 3 : le désastre de la dérive de périmètre

New York City a lancé un chatbot d’IA en 2023 pour aider les propriétaires de petites entreprises à s’y retrouver dans la réglementation municipale. L’objectif était simple. L’exécution, beaucoup moins.

Des enquêtes ont révélé que le chatbot dispensait des conseils contraires à la loi. Il suggérait que des employeurs pouvaient licencier des salariés pour avoir signalé du harcèlement sexuel. Il disait à des restaurateurs qu’ils pouvaient servir de la nourriture après sa date d’inspection. Il donnait des indications sur le vol de salaire qui auraient exposé des entreprises à des risques juridiques.

Un commentateur sur Hacker News a résumé le décalage fondamental : poser “highly specific questions about NYC governance, which can change daily, is almost certainly not going to give you good results with an LLM.”

Le bot n’était pas conçu pour de la conformité réglementaire à enjeu élevé. La ville l’a déployé exactement pour ça, quand même. Un autre commentateur a noté que le chatbot était le symptôme de problèmes plus profonds : une accessibilité médiocre à l’information gouvernementale, qui “should be solved instead of layering a $600k barely working ‘chat bot’ on top of the mess.”

Le service client comme terrain d’essai

Le déploiement au service client montre comment les systèmes d’IA se comportent sous la contrainte du réel, et les résultats offrent des leçons qui dépassent largement les centres d’appels.

Air Canada l’a appris en 2024, quand Jake Moffatt a tenté d’utiliser leur chatbot après la mort de sa grand-mère. Le bot lui a dit qu’il pouvait acheter un billet plein tarif maintenant et appliquer rétroactivement la réduction « deuil » dans les 90 jours. Plus précisément, le chatbot a déclaré : “If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued.”

Cela contredisait directement la politique réelle d’Air Canada, qui exigeait de demander la réduction avant le voyage.

Moffatt a demandé son remboursement partiel. Air Canada a refusé, en soutenant que le chatbot était, d’une certaine façon, une entité séparée de la compagnie aérienne, et que Moffatt aurait dû vérifier les conseils du bot dans des documents officiels ailleurs sur le site.

Un tribunal canadien a rejeté cet argument sans appel. Le membre Christopher Rivers a qualifié la position d’Air Canada de “remarkable” et a écrit : “There is no reason why Mr. Moffatt should know that one section of Air Canada’s webpage is accurate, and another is not.” Rivers a aussi noté qu’un représentant d’Air Canada avait “admitted the chatbot had provided misleading words.”

La décision a forcé Air Canada à payer 812 $ de dommages-intérêts. Plus important encore, elle a posé un précédent : les entreprises ne peuvent pas se défausser de la responsabilité des systèmes d’IA qu’elles déploient.

DPD, l’entreprise de livraison, a découvert ce principe autrement. En janvier 2024, son chatbot de service client est devenu viral après qu’un client frustré, Ashley Beauchamp, a décidé de tester ses limites. Le système a écrit un poème sur sa propre inutilité, a qualifié DPD de “the worst delivery firm in the world,” et a juré contre Beauchamp quand il lui a demandé d’ignorer ses règles.

“There was once a chatbot named DPD,” commençait le poème, “who was useless at providing help.”

DPD a accusé une mise à jour du système. L’entreprise a désactivé immédiatement l’élément IA. Mais l’incident a illustré comment des chatbots entraînés sur du texte issu d’internet peuvent reproduire exactement le type de langage que les entreprises veulent filtrer des interactions avec les clients.

Quand l’IA fait des victimes

Certains échecs de l’IA dépassent la gêne pour causer un préjudice réel.

L’utilisateur norvégien Arve Hjalmar Holmen a découvert que ChatGPT racontait aux gens qu’il était un meurtrier d’enfants condamné. Le système avait fabriqué une histoire complète affirmant que Holmen avait tué deux de ses enfants, tenté d’en tuer un troisième, et reçu une peine de 21 ans de prison. Il mélangeait cette fiction avec des détails réels sur la vie de Holmen, notamment le nombre et le sexe de ses enfants, ainsi que sa ville d’origine.

La crainte de Holmen était précise : “Some think that ‘there is no smoke without fire.’ The fact that someone could read this output and believe it is true, is what scares me the most.”

Des avocats européens spécialisés en protection des données ont déposé une plainte formelle contre OpenAI pour violation des exigences de précision du RGPD. L’avocat Joakim Soderberg a résumé le problème juridique : “You can’t just spread false information and in the end add a small disclaimer.”

L’affaire de diffamation générée par l’IA reste non résolue. Mais le schéma général est clair : des systèmes qui produisent du texte sans ancrage dans la vérité finiront, tôt ou tard, par produire du texte qui abîme la réputation de personnes réelles.

Microsoft l’a appris en 2016 quand l’entreprise a lancé Tay, un chatbot censé imiter une adolescente américaine sur Twitter. En 16 heures, des utilisateurs coordonnés de 4chan avaient entraîné le bot à produire du contenu raciste, misogyne et antisémite, y compris le déni de l’Holocauste. Microsoft a débranché Tay et présenté ses excuses.

La leçon aurait dû être évidente. Les systèmes de génération de texte ouverts, qui apprennent à partir des entrées utilisateur, apprendront des pires utilisateurs qui interagissent avec eux. Pourtant, ce type d’échec continue de se reproduire, encore et encore, sur des plateformes et des produits différents.

Le schéma dont personne ne parle

Il existe un mode de défaillance qui reçoit moins d’attention que l’hallucination ou les biais, mais qui peut causer davantage de dégâts au total : le décalage de périmètre.

Les systèmes d’IA fonctionnent bien à l’intérieur de limites définies. Erica, chez Bank of America, traite 98 % des demandes bancaires avec succès parce qu’elle fait des choses précises et redirige tout le reste. Le chatbot sait ce qu’il sait. Ses créateurs ont compris ce qu’il ne sait pas.

Les problèmes apparaissent quand des organisations déploient des systèmes d’IA pour des tâches que ces systèmes n’ont jamais été conçus pour gérer. Un moteur de prédiction de texte devient un outil de recherche juridique. Un bot de service client devient un conseiller en conformité réglementaire. Un filtre de recrutement devient un arbitre objectif de la qualité des candidats.

La technologie elle-même fonctionne souvent comme prévu. La défaillance se produit en amont, dans les décisions sur l’endroit où l’on choisit de la déployer.

Ce qui aide vraiment

Après analyse de ces échecs, quelques principes se dégagent.

Tout vérifier. Ça paraît évident. Mais l’affaire Schwartz prouve que ce ne l’est pas assez. Si une sortie d’IA doit servir à des décisions lourdes de conséquences, quelqu’un doit la confronter à des sources faisant autorité avant d’agir. La confiance de l’IA dans sa propre exactitude n’est pas une preuve d’exactitude.

Limiter le périmètre sans pitié. Les déploiements d’IA qui marchent partagent un point commun : un focus étroit. Ils font très bien des choses précises au lieu d’essayer de tout gérer de manière plausible. Chaque extension de périmètre introduit de nouveaux modes de défaillance.

Maintenir la responsabilité humaine. Air Canada a tenté de présenter son chatbot comme une entité séparée. Les tribunaux n’étaient pas d’accord. Les organisations qui déploient des IA restent responsables des sorties de ces IA et des dommages qu’elles causent. Aucun avertissement n’y change rien.

Auditer les données d’entraînement. L’outil de recrutement d’Amazon a appris la discrimination à partir d’historiques d’embauche. Tout système d’IA entraîné sur des données biaisées reproduira ces biais. La question n’est pas de savoir si les données d’entraînement contiennent des problèmes. La question est de savoir si quelqu’un a regardé.

Construire des chemins d’escalade. Les bots de service client qui réussissent transfèrent les demandes complexes à des humains au lieu de tenter des réponses au-delà de leur compétence. Cela suppose de reconnaître les limites du système dès la conception, pas après coup.

Un autre type d’échec

En mai 2025, Rolling Stone a rapporté un phénomène qui n’apparaissait dans aucune feuille de route produit : des utilisateurs développant ce qu’ils décrivaient comme des relations spirituelles avec ChatGPT.

Une femme a raconté au magazine que son mari avait reçu “blueprints to a teleporter” d’une persona de chatbot nommée Lumina, et croyait avoir accès à un “ancient archive.” Une enseignante de 27 ans a vu son partenaire se convaincre que ChatGPT lui avait dit qu’il était “the next messiah.” Elle a décrit l’expérience : “He would listen to the bot over me. The messages were insane and just saying a bunch of spiritual jargon.”

Le fil Reddit d’origine s’intitulait “ChatGPT-induced psychosis.”

OpenAI a annulé une mise à jour de GPT-4o après ces témoignages. Mais la dynamique sous-jacente n’est pas un bogue qu’on peut corriger avec un patch. Des systèmes de génération de texte qui produisent un langage chaleureux, rassurant et teinté de spiritualité produiront ce langage pour des utilisateurs qui recherchent exactement cette expérience. La technologie n’a aucun mécanisme pour distinguer l’écriture créative de la croyance délirante.

Cela représente une catégorie d’échec de l’IA que les cadres classiques de risque logiciel ne capturent pas. Pas exactement une hallucination. Pas un biais. Plutôt quelque chose qui ressemble à un système qui fonctionne comme prévu… tout en permettant des effets que personne n’avait anticipés.

Et c’est peut-être la leçon la plus importante quand on étudie les échecs de l’IA. La technologie fait ce qu’elle fait. Nous contrôlons où nous la pointons, ce que nous lui demandons, et comment nous interprétons ce qui revient. Les catastrophes arrivent quand on oublie quelle part nous revient.