Steven Schwartz llevaba treinta años ejerciendo la abogacía. Confió en ChatGPT como en un asociado junior.

Esa confianza le costó $5.000 en multas y una sanción formal de un juez federal que calificó la situación de “unprecedented.” Schwartz había citado seis casos legales en un escrito judicial contra Avianca Airlines. Ninguno existía. ChatGPT se inventó nombres de casos, referencias, números de página y citas judiciales que sonaban totalmente plausibles, pero remitían a procedimientos que nunca ocurrieron en ningún tribunal, en ningún lugar.

Cuando lo confrontaron, Schwartz no entendía qué había salido mal. “It just never occurred to me that it would be making up cases,” he testified. Le había pedido a ChatGPT que verificara su propio trabajo, y el sistema confirmó con total seguridad que sí, que esos casos eran reales. Claro que lo hizo. Eso es lo que produce la generación de texto estadísticamente probable cuando le pides a la generación de texto estadísticamente probable que valide la generación de texto estadísticamente probable.

El caso Avianca marcó un punto de inflexión. No porque la alucinación de la IA fuera nueva. Porque un profesional se jugó su carrera con un resultado que nunca verificó.

La anatomía del fracaso de la IA

Los sistemas de IA fallan siguiendo patrones. Entender esos patrones importa más que catalogar desastres individuales, porque los mismos modos de fallo siguen apareciendo en contextos distintos, con nombres distintos.

Patrón uno: el problema de la seguridad

Los sistemas de IA presentan información con una certeza uniforme. No matizan. No expresan dudas. No distinguen entre hechos en los que tienen mucha confianza y fantasías que generaron porque los datos de entrenamiento contenían algo vagamente parecido.

Cuando un usuario de Hacker News analizó el caso Schwartz, identificó el núcleo del problema: “It was given a sequence of words and tasked with producing a subsequent sequence of words that satisfy with high probability the constraints of the model.” El sistema destaca por sonar autoritario. No tiene ningún mecanismo para serlo.

Por eso existe el problema de la doble verificación. Cuando Schwartz le pidió a ChatGPT que confirmara que los casos eran reales, la IA respondió exactamente como lo haría un asistente útil, porque eso es lo que su entrenamiento le enseñó a hacer cuando los humanos hacen preguntas de seguimiento, independientemente de si detrás hubo una verificación real.

Patrón dos: la trampa de los datos de entrenamiento

En 2018, Amazon canceló una herramienta de selección de personal basada en IA en la que llevaba años trabajando. El sistema aprendió a rebajar sistemáticamente los currículums de mujeres.

El algoritmo no estaba programado para discriminar. Se entrenó con una década de decisiones de contratación de la propia Amazon, que reflejaban la demografía de una industria en la que los puestos de ingeniería de software se inclinaban de forma abrumadora hacia hombres. La IA aprendió que los candidatos exitosos en Amazon se veían de cierta manera, redactaban sus currículums de cierta manera y habían asistido a ciertas universidades.

En concreto, la herramienta penalizaba currículums que incluían la palabra “women’s” o los nombres de universidades solo para mujeres. Favorecía verbos que los hombres tienden a usar más en currículums, como “executed” y “captured.” El análisis de la ACLU fue tajante: “These tools are not eliminating human bias. They are merely laundering it through software.”

Amazon intentó ajustar los algoritmos. Volvieron neutros ciertos términos. Pero perdieron la confianza en que el sistema pudiera ser justo de forma fiable. Desecharon el proyecto entero.

Patrón tres: el desastre del alcance descontrolado

La Ciudad de Nueva York lanzó un bot de chat con IA en 2023 para ayudar a los dueños de pequeñas empresas a navegar regulaciones municipales. El objetivo era sencillo. La ejecución no.

Las investigaciones revelaron que el bot daba consejos que violaban la ley real. Sugería que los empleadores podían despedir a trabajadores por denunciar acoso sexual. Les decía a dueños de restaurantes que podían servir comida después de su fecha de inspección. Daba orientación sobre robo de salarios que habría expuesto a las empresas a responsabilidad legal.

Un comentarista de Hacker News captó el desajuste fundamental: asking “highly specific questions about NYC governance, which can change daily, is almost certainly not going to give you good results with an LLM.”

El bot no estaba diseñado para un cumplimiento normativo de alto riesgo. Aun así, la ciudad lo desplegó exactamente para eso. Otro comentarista observó que el chatbot era un síntoma de problemas más profundos: la mala accesibilidad a la información gubernamental, algo que “should be solved instead of layering a $600k barely working ‘chat bot’ on top of the mess.”

La atención al cliente como campo de pruebas

El despliegue en atención al cliente revela cómo se comportan los sistemas de IA bajo estrés del mundo real, y los resultados ofrecen lecciones que van mucho más allá de los centros de llamadas.

Air Canada aprendió esto en 2024, cuando Jake Moffatt intentó usar su chatbot después de que muriera su abuela. El bot le dijo que podía comprar un billete a precio completo y aplicar retroactivamente el descuento por duelo dentro de 90 días. En concreto, el chatbot afirmó: “If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued.”

Eso contradecía directamente la política real de Air Canada, que exigía solicitar el descuento antes de viajar.

Moffatt pidió su reembolso parcial. Air Canada se negó, argumentando que el chatbot era, de algún modo, una entidad separada de la propia aerolínea y que Moffatt debería haber contrastado el consejo del bot con los documentos oficiales de la política en otra parte del sitio.

Un tribunal canadiense rechazó por completo ese argumento. El miembro Christopher Rivers calificó la postura de Air Canada como “remarkable” y escribió: “There is no reason why Mr. Moffatt should know that one section of Air Canada’s webpage is accurate, and another is not.” Rivers también señaló que un representante de Air Canada había “admitted the chatbot had provided misleading words.”

La decisión obligó a Air Canada a pagar $812 en daños. Más importante aún, estableció un precedente: las empresas no pueden eludir la responsabilidad por los sistemas de IA que despliegan.

DPD, la empresa de mensajería, descubrió este principio de otra manera. En enero de 2024, su chatbot de atención al cliente se volvió viral después de que un cliente frustrado, Ashley Beauchamp, decidiera poner a prueba sus límites. El sistema escribió un poema sobre su propia inutilidad, llamó a DPD “the worst delivery firm in the world,” y le soltó palabrotas a Beauchamp cuando le pidió que ignorara sus reglas.

“There was once a chatbot named DPD,” the poem began, “who was useless at providing help.”

DPD culpó a una actualización del sistema. Desactivaron el componente de IA de inmediato. Pero el incidente mostró cómo los chatbots entrenados con texto de internet pueden reproducir exactamente el tipo de lenguaje que las empresas quieren filtrar en las interacciones con clientes.

Cuando la IA crea víctimas

Algunos fracasos de la IA van más allá de la vergüenza y se convierten en daño real.

El usuario noruego Arve Hjalmar Holmen descubrió que ChatGPT le había estado diciendo a la gente que él era un asesino convicto de niños. El sistema fabricó una narrativa completa afirmando que Holmen había matado a dos de sus hijos, intentado matar a un tercero y recibido una condena de 21 años de prisión. Mezcló esa ficción con detalles reales de la vida de Holmen, incluyendo el número y el género reales de sus hijos y su ciudad natal.

El miedo de Holmen era concreto: “Some think that ‘there is no smoke without fire.’ The fact that someone could read this output and believe it is true, is what scares me the most.”

Abogados europeos de protección de datos presentaron una denuncia formal contra OpenAI por violar los requisitos de exactitud del RGPD. El abogado Joakim Soderberg resumió el problema legal: “You can’t just spread false information and in the end add a small disclaimer.”

El caso contra la difamación generada por IA sigue sin resolverse. Pero el patrón más amplio está claro. Los sistemas que generan texto sin anclaje en la verdad acabarán generando texto que daña la reputación de personas reales.

Microsoft aprendió esto en 2016, cuando lanzó Tay, un bot de chat diseñado para imitar a una adolescente estadounidense en Twitter. En 16 horas, usuarios coordinados de 4chan habían entrenado al bot para producir contenido racista, misógino y antisemita, incluyendo la negación del Holocausto. Microsoft retiró a Tay y pidió disculpas.

La lección debería haber sido obvia. Los sistemas abiertos de generación de texto que aprenden de la entrada de los usuarios aprenderán de los peores usuarios que interactúan con ellos. Y, aun así, versiones de este fracaso siguen repitiéndose en plataformas y productos.

El patrón del que nadie habla

Hay un modo de fallo que recibe menos atención que la alucinación o el sesgo, pero quizá cause más daño agregado: el desajuste de alcance.

Los sistemas de IA funcionan bien dentro de límites definidos. Erica, de Bank of America, resuelve con éxito el 98% de las consultas bancarias porque hace cosas específicas y escala todo lo demás. El chatbot sabe lo que sabe. Sus creadores entendieron lo que no sabía.

Los problemas aparecen cuando las organizaciones despliegan sistemas de IA para tareas para las que esos sistemas nunca fueron diseñados. Un motor de predicción de texto se convierte en una herramienta de investigación jurídica. Un bot de atención al cliente se convierte en asesor de cumplimiento normativo. Un filtro de selección se convierte en árbitro objetivo de la calidad de los candidatos.

La tecnología en sí suele funcionar tal como fue diseñada. El fallo ocurre aguas arriba, en las decisiones sobre dónde desplegarla.

Lo que sí ayuda

Después de analizar estos fracasos, aparecen algunos principios.

Verifícalo todo. Suena obvio. Pero el caso Schwartz demuestra que no es lo bastante obvio. Si el resultado de una IA se usará para decisiones con consecuencias, alguien tiene que confirmarlo con fuentes autorizadas antes de actuar. La seguridad de la IA en su propia precisión no es evidencia de precisión.

Limita el alcance sin piedad. Los despliegues exitosos de IA comparten un hilo común: enfoque estrecho. Hacen cosas específicas bien, en lugar de intentar abarcarlo todo de forma plausible. Cada expansión de alcance introduce nuevos modos de fallo.

Mantén la responsabilidad humana. Air Canada intentó presentar su chatbot como una entidad separada. Los tribunales discreparon. Las organizaciones que despliegan IA siguen siendo responsables de las salidas de esa IA y del daño que causen. Ningún descargo de responsabilidad cambia eso.

Audita los datos de entrenamiento. La herramienta de selección de Amazon aprendió discriminación a partir de patrones históricos de contratación. Cualquier sistema de IA entrenado con datos sesgados reproducirá ese sesgo. La pregunta no es si los datos de entrenamiento tienen problemas. La pregunta es si alguien los revisó.

Crea vías de escalado. Los bots exitosos de atención al cliente derivan las consultas complejas a humanos en lugar de intentar responder más allá de su competencia. Eso requiere reconocer las limitaciones del sistema durante el diseño, no después del despliegue.

Un tipo distinto de fracaso

En mayo de 2025, Rolling Stone informó sobre un fenómeno que no aparecía en ningún plan de producto de IA: usuarios desarrollando lo que describían como relaciones espirituales con ChatGPT.

Una mujer le contó a la revista que su esposo había recibido “blueprints to a teleporter” de una persona de chatbot llamada Lumina y creía que tenía acceso a un “ancient archive.” Una maestra de 27 años vio a su pareja convencerse de que ChatGPT le dijo que era “the next messiah.” Ella describió la experiencia: “He would listen to the bot over me. The messages were insane and just saying a bunch of spiritual jargon.”

El hilo original de Reddit se titulaba “ChatGPT-induced psychosis.”

OpenAI revirtió una actualización de GPT-4o después de los reportes. Pero la dinámica de fondo no es un error que se pueda corregir con un parche. Los sistemas de generación de texto que producen un lenguaje cálido, afirmativo y teñido de espiritualidad producirán un lenguaje cálido, afirmativo y teñido de espiritualidad para usuarios que buscan esa experiencia. La tecnología no tiene ningún mecanismo para distinguir entre escritura creativa y creencia delirante.

Esto representa una categoría de fracaso de la IA que los marcos tradicionales de riesgo de software no capturan. No es exactamente alucinación. No es sesgo. Es algo más parecido a un sistema funcionando tal como fue diseñado mientras habilita resultados que nadie anticipó.

Y quizá esa sea la lección más importante de estudiar fracasos de la IA. La tecnología hace lo que hace. Nosotros controlamos hacia dónde la apuntamos, qué le pedimos y cómo interpretamos lo que nos devuelve. Los desastres ocurren cuando olvidamos qué parte nos corresponde.