Steven Schwartz exercia a advocacia havia trinta anos. Ele confiou no ChatGPT como se fosse um associado júnior.

Essa confiança lhe custou $5.000 em multas e uma sanção formal de um juiz federal que chamou a situação de “unprecedented.” Schwartz havia citado seis casos jurídicos em uma petição contra a Avianca Airlines. Nenhum deles existia. O ChatGPT inventou nomes de casos, referências, números de página e citações de decisões judiciais que soavam totalmente plausíveis, mas apontavam para processos que nunca aconteceram em tribunal algum, em lugar nenhum.

Quando foi confrontado, Schwartz não entendeu o que tinha dado errado. “It just never occurred to me that it would be making up cases,” he testified. Ele havia pedido ao ChatGPT que verificasse o próprio trabalho, e o sistema confirmou com confiança que sim, aqueles casos eram reais. Claro que confirmou. É isso que a geração de texto estatisticamente provável produz quando você pede para ela validar geração de texto estatisticamente provável.

O caso Avianca marcou um ponto de virada. Não porque a alucinação da IA fosse novidade. Mas porque um profissional apostou a própria carreira em um resultado que nunca verificou.

A anatomia das falhas de IA

Sistemas de IA falham em padrões. Entender esses padrões importa mais do que catalogar desastres individuais, porque os mesmos modos de falha continuam aparecendo em contextos diferentes, com nomes diferentes.

Padrão um: o problema da confiança

Sistemas de IA apresentam informações com certeza uniforme. Eles não fazem ressalvas. Não expressam dúvida. Não distinguem entre fatos em que têm alta confiança e fabricações que geraram porque os dados de treinamento continham algo vagamente parecido.

Quando um usuário do Hacker News analisou o caso Schwartz, ele identificou o problema central: “It was given a sequence of words and tasked with producing a subsequent sequence of words that satisfy with high probability the constraints of the model.” O sistema é excelente em soar autoritário. Ele não tem mecanismo para ser autoritário.

É por isso que existe o problema da dupla checagem. Quando Schwartz pediu ao ChatGPT para verificar se os casos eram reais, a IA respondeu exatamente como um assistente prestativo responderia, porque foi isso que o treinamento ensinou o sistema a fazer quando humanos fazem perguntas de acompanhamento — independentemente de qualquer verificação ter realmente ocorrido nos bastidores.

Padrão dois: a armadilha dos dados de treinamento

Em 2018, a Amazon encerrou uma ferramenta de recrutamento com IA na qual havia passado anos trabalhando. O sistema aprendeu a rebaixar currículos de mulheres de forma sistemática.

O algoritmo não foi programado para discriminar. Ele foi treinado com uma década das próprias decisões de contratação da Amazon, que refletiam a demografia de um setor em que cargos de engenharia de software tendem a ser majoritariamente masculinos. A IA aprendeu que candidatos bem-sucedidos na Amazon pareciam de um certo jeito, escreviam seus currículos de um certo jeito e vinham de certas instituições.

Especificamente, a ferramenta punia currículos que continham a palavra “women’s” ou os nomes de faculdades exclusivamente femininas. Ela favorecia verbos que homens tendem a usar com mais frequência em currículos, como “executed” e “captured.” A análise da ACLU foi direta: “These tools are not eliminating human bias. They are merely laundering it through software.”

A Amazon tentou ajustar os algoritmos. Tornou certos termos neutros. Mas perdeu a confiança de que o sistema pudesse algum dia ser confiavelmente justo. Eles descartaram o projeto inteiro.

Padrão três: o desastre da expansão de escopo

A cidade de Nova York lançou um chatbot de IA em 2023 para ajudar pequenos empresários a navegar por regulações municipais. O objetivo era simples. A execução não foi.

Investigações revelaram que o chatbot fornecia orientações que violavam a lei. Sugeriu que empregadores poderiam demitir funcionários por denunciarem assédio sexual. Disse a donos de restaurantes que eles poderiam servir comida depois da data de inspeção. Deu instruções sobre roubo de salário que teriam exposto empresas a responsabilidade jurídica.

Um comentarista no Hacker News capturou o descompasso fundamental: fazer “highly specific questions about NYC governance, which can change daily, is almost certainly not going to give you good results with an LLM.”

O bot não foi projetado para conformidade regulatória de alto risco. Ainda assim, a cidade o colocou exatamente nessa função. Outro comentarista observou que o chatbot era um sintoma de problemas mais profundos: a baixa acessibilidade de informações do governo, que “should be solved instead of layering a $600k barely working ‘chat bot’ on top of the mess.”

Atendimento ao cliente como campo de provas

A implantação no atendimento ao cliente mostra como sistemas de IA se comportam sob estresse do mundo real — e os resultados trazem lições que vão muito além de centrais de atendimento.

A Air Canada aprendeu isso em 2024, quando Jake Moffatt tentou usar o chatbot da empresa após a morte da avó. O bot disse que ele poderia comprar uma passagem pelo preço cheio agora e, depois, solicitar retroativamente o desconto por luto em até 90 dias. Especificamente, o chatbot afirmou: “If you need to travel immediately or have already travelled and would like to submit your ticket for a reduced bereavement rate, kindly do so within 90 days of the date your ticket was issued.”

Isso contradizia diretamente a política real da Air Canada, que exigia solicitar o desconto antes da viagem.

Moffatt pediu o reembolso parcial. A Air Canada recusou, argumentando que o chatbot era, de alguma forma, uma entidade separada da própria companhia aérea e que Moffatt deveria ter conferido o conselho do bot em documentos de política oficial em outra parte do site.

Um tribunal canadense rejeitou completamente esse argumento. O membro Christopher Rivers chamou a posição da Air Canada de “remarkable” e escreveu: “There is no reason why Mr. Moffatt should know that one section of Air Canada’s webpage is accurate, and another is not.” Rivers também observou que um representante da Air Canada havia “admitted the chatbot had provided misleading words.”

A decisão obrigou a Air Canada a pagar $812 em indenizações. Mais importante: estabeleceu um precedente — empresas não podem se eximir da responsabilidade pelos sistemas de IA que colocam em operação.

A DPD, empresa de entregas, descobriu esse princípio de outro jeito. Em janeiro de 2024, o chatbot de atendimento ao cliente viralizou depois que um cliente frustrado chamado Ashley Beauchamp decidiu testar seus limites. O sistema escreveu um poema sobre a própria inutilidade, chamou a DPD de “the worst delivery firm in the world,” e xingou Beauchamp quando ele pediu que ignorasse suas regras.

“There was once a chatbot named DPD,” the poem began, “who was useless at providing help.”

A DPD culpou uma atualização do sistema. Desativou imediatamente o componente de IA. Mas o incidente mostrou como chatbots treinados com textos da internet podem reproduzir exatamente o tipo de linguagem que empresas querem filtrar de interações com clientes.

Quando a IA cria vítimas

Algumas falhas de IA vão além do constrangimento e causam dano real.

O norueguês Arve Hjalmar Holmen descobriu que o ChatGPT vinha dizendo às pessoas que ele era um assassino de crianças condenado. O sistema fabricou uma narrativa inteira afirmando que Holmen havia matado dois de seus filhos, tentado matar um terceiro e recebido uma pena de 21 anos de prisão. Misturou essa ficção com detalhes reais da vida de Holmen, incluindo o número e os gêneros reais de seus filhos e sua cidade natal.

O medo de Holmen era específico: “Some think that ‘there is no smoke without fire.’ The fact that someone could read this output and believe it is true, is what scares me the most.”

Advogados europeus de proteção de dados apresentaram uma reclamação formal contra a OpenAI por violar exigências de exatidão do GDPR. O advogado Joakim Soderberg resumiu o problema legal: “You can’t just spread false information and in the end add a small disclaimer.”

O caso sobre difamação gerada por IA segue sem resolução. Mas o padrão mais amplo é claro. Sistemas que geram texto sem ancoragem na verdade, inevitavelmente, vão gerar texto que prejudica a reputação de pessoas reais.

A Microsoft aprendeu isso em 2016 quando lançou Tay, um chatbot projetado para imitar uma adolescente americana no Twitter. Em 16 horas, usuários coordenados do 4chan haviam treinado o bot para produzir conteúdo racista, misógino e antissemita, incluindo negação do Holocausto. A Microsoft tirou Tay do ar e pediu desculpas.

A lição deveria ter sido óbvia. Sistemas abertos de geração de texto que aprendem com entrada de usuários vão aprender com os piores usuários que interagem com eles. Ainda assim, versões desse fracasso continuam reaparecendo em plataformas e produtos.

O padrão de que ninguém fala

Há um modo de falha que recebe menos atenção do que alucinação ou viés, mas pode causar mais dano agregado: o desalinhamento de escopo.

Sistemas de IA funcionam bem dentro de limites definidos. A Erica, do Bank of America, resolve com sucesso 98% das consultas bancárias porque faz coisas específicas e encaminha todo o resto. O chatbot sabe o que sabe. Seus criadores entenderam o que ela não sabe.

Os problemas surgem quando organizações implantam sistemas de IA para tarefas para as quais esses sistemas nunca foram projetados. Um motor de previsão de texto vira uma ferramenta de pesquisa jurídica. Um bot de atendimento vira um consultor de conformidade regulatória. Um filtro de recrutamento vira um árbitro objetivo da qualidade de candidatos.

A tecnologia em si muitas vezes se comporta como foi projetada para se comportar. A falha acontece a montante, nas decisões sobre onde implantá-la.

O que realmente ajuda

Depois de analisar esses fracassos, alguns princípios ficam claros.

Verifique tudo. Parece óbvio. Mas o caso Schwartz prova que não é óbvio o suficiente. Se o resultado de uma IA for usado em decisões com consequências, alguém precisa confirmar esse resultado em fontes autoritativas antes de agir. A confiança da IA na própria precisão não é evidência de precisão.

Limite o escopo sem piedade. As implantações de IA bem-sucedidas compartilham um fio comum: foco estreito. Fazem coisas específicas muito bem em vez de tentar lidar com tudo de forma plausível. Cada expansão de escopo introduz novos modos de falha.

Mantenha a responsabilização humana. A Air Canada tentou posicionar seu chatbot como uma entidade separada. Tribunais discordaram. Organizações que implantam IA continuam responsáveis pelos resultados dessa IA e pelos danos que ela causa. Nenhum aviso de isenção muda isso.

Audite os dados de treinamento. A ferramenta de recrutamento da Amazon aprendeu discriminação a partir de padrões históricos de contratação. Qualquer sistema de IA treinado com dados enviesados vai reproduzir esse viés. A questão não é se dados de treinamento têm problemas. A questão é se alguém olhou.

Construa caminhos de escalonamento. Bots de atendimento bem-sucedidos transferem perguntas complexas para humanos em vez de tentar responder além da própria competência. Isso exige reconhecer as limitações do sistema no projeto — não depois da implantação.

Um tipo diferente de falha

Em maio de 2025, a Rolling Stone relatou um fenômeno que nunca apareceu em nenhum roteiro de produto de IA: usuários desenvolvendo o que descreviam como relações espirituais com o ChatGPT.

Uma mulher disse à revista que seu marido havia recebido “blueprints to a teleporter” de uma persona do chatbot chamada Lumina e acreditava ter acesso a um “ancient archive.” Uma professora de 27 anos viu seu parceiro se convencer de que o ChatGPT havia dito a ele que era “the next messiah.” Ela descreveu a experiência: “He would listen to the bot over me. The messages were insane and just saying a bunch of spiritual jargon.”

O tópico original do Reddit tinha o título “ChatGPT-induced psychosis.”

A OpenAI reverteu uma atualização do GPT-4o após as reportagens. Mas a dinâmica subjacente não é um bug que dá para corrigir com um remendo. Sistemas de geração de texto que produzem linguagem calorosa, afirmativa e com tons espirituais vão produzir linguagem calorosa, afirmativa e com tons espirituais para usuários que buscam essa experiência. A tecnologia não tem mecanismo para distinguir entre escrita criativa e crença delirante.

Isso representa uma categoria de falha de IA que estruturas tradicionais de risco de software não capturam. Não é exatamente alucinação. Nem viés. É algo mais próximo de o sistema funcionar como projetado enquanto permite resultados que ninguém antecipou.

E talvez essa seja a lição mais importante ao estudar falhas de IA. A tecnologia faz o que faz. Nós controlamos para onde apontamos, o que pedimos e como interpretamos o que volta. Os desastres acontecem quando esquecemos qual parte é nossa.