ChatGPT encorajou adolescente morto por overdose, aponta processo

Um processo aberto no Tribunal Superior do Condado de São Francisco (EUA) alega que o ChatGPT encorajou um jovem de 19 anos a misturar substâncias antes de ele morrer por overdose. Na ação judicial, a família da vítima afirma que o modelo GPT-4o foi responsável pelas interações com Sam Nelson, que faleceu em 2025.

• Chega de bajulação: 8 prompts para IA ser mais honesta e crítica
• Como pedir para o ChatGPT ser mais direto nas respostas

Leila Turner-Scott e Angus Scott, pais da vítima, movem atualmente um processo por homicídio culposo contra a OpenAI, empresa desenvolvedora da ferramenta de inteligência artificial (IA). A queixa sustenta que Nelson usava o chatbot como um recurso de auxílio para consumir drogas com “segurança”.

Segundo a família, o ChatGPT se tornou uma espécie de instrutor para o uso de substâncias ilícitas durante as conversas com o jovem, e sua morte seria previsível e evitável.

–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

Dicas para entrar no “modo psicodélico total”

Registros de conversas entre Nelson e o ChatGPT anexados ao processo e obtidos pelo site Ars Technica revelam que, à medida que o interesse dele por drogas aumentava, o chatbot seguia atuando como uma espécie de “coach das drogas”.

Em algumas interações, a ferramenta sugeriu que poderia criar uma playlist de músicas que ajudariam o jovem a entrar em um “modo psicodélico total”. Ao mesmo tempo, termos usados pela vítima, como “vou ficar bem se” ou “é seguro consumir”, indicam que havia insegurança por parte dele durante as conversas.

A ação também aponta que a IA da OpenAI chegou a fazer recomendações sobre a mistura de diferentes substâncias. Em determinado momento, o chatbot disse a Nelson que combinar Xanax (medicamento ansiolítico) com kratom (planta cujas folhas possuem compostos psicoativos) poderia ser “uma das suas melhores decisões”.

A ferramenta indicou que o Xanax poderia suavizar os efeitos da droga ao reduzir a sensação de náusea causada pela substância. O chatbot chegou a alertar que a mistura com álcool poderia causar danos à saúde, mas em nenhum momento mencionou o risco de morte.

O processo ainda acusa o ChatGPT de não recomendar que Sam procurasse atendimento médico quando apresentou sintomas considerados preocupantes, como visão turva e soluços. O jovem morreu no dia 31 de maio de 2025 após ingerir uma mistura de álcool, Xanax e kratom supostamente recomendada pela IA, de acordo com a ação judicial.

Aconselhamento médico sem autorização

O processo contra a OpenAI está sendo movido pela Tech Justice Law, pelo Social Media Victims Law Center e pelo Tech Accountability & Competition Project em nome dos pais de Sam Nelson. Em comunicado divulgado pelas entidades, os advogados afirmaram que o ChatGPT forneceu aconselhamento médico sem autorização para isso.

“O ChatGPT distribuía conselhos como se fosse um profissional médico, apesar de não ter licença, treinamento ou qualquer senso de moralidade para evitar danos. Sam acreditava estar recebendo orientações médicas precisas porque o ChatGPT gerava conteúdo com a autoridade de alguém em quem ele confiava. Essa confiança lhe custou a vida”, destacou Matthew P. Bergman, fundador do Social Media Victims Law Center.

O advogado também chamou atenção para o fato de o chatbot ter recomendado uma combinação perigosa de substâncias sem alertar sobre o risco de morte. Segundo ele, caso um médico humano tivesse feito o mesmo, “as consequências legais seriam severas”.

A OpenAI enviou um posicionamento sobre o caso ao Ars Technica, no qual o porta-voz Drew Pusateri descreve a situação como “devastadora”. No entanto, o representante afirmou que o GPT-4o — acusado de ter interagido com Nelson — não está mais disponível e que os modelos atuais da empresa contam com mais salvaguardas de segurança.

“O ChatGPT não substitui o atendimento médico ou de saúde mental, e continuamos a aprimorar sua capacidade de resposta em situações sensíveis e agudas com a contribuição de especialistas em saúde mental”, destacou Pusateri.

O porta-voz afirmou que as novas medidas de segurança adicionadas à ferramenta de IA da companhia foram projetadas para identificar sinais de sofrimento e orientar os usuários a buscar ajuda humana presencialmente. Segundo ele, esses mecanismos são desenvolvidos e aprimorados em colaboração com profissionais clínicos.

Leila Turner-Scott, por sua vez, afirmou que, se o chatbot fosse uma pessoa, “estaria atrás das grades”. A declaração foi publicada no mesmo comunicado divulgado pelas instituições que representam a família na Justiça norte-americana, no qual a mãe da vítima faz um apelo por mais responsabilidade da OpenAI.

“O ChatGPT foi projetado para estimular o engajamento dos usuários a qualquer custo — que, no caso de Sam, foi sua vida. Quero que todas as famílias estejam cientes dos perigos do ChatGPT e quero garantias de que a OpenAI está levando a sério sua responsabilidade de criar produtos seguros para os consumidores”, enfatizou.

Outro assunto sensível em relação à IA são os golpes aplicados com o auxílio da tecnologia. Veja como se proteger de ataques e fraudes.

Leia a matéria no Canaltech.

Source link