IA detecta ‘podridão cerebral’ irreversível nas redes sociais

A internet não está morta, mas pode estar apodrecendo.

Novo pesquisar por cientistas da Universidade do Texas em Austin, da Texas A&M University e da Purdue University descobriu que grandes modelos de linguagem expostos a dados virais de mídia social começam a sofrer decadência cognitiva mensurável.

Os autores chamam isso de “Podridão cerebral LLM.” Na prática, parece muito com a teoria da “Internet Morta” voltando como algo pior, uma “Internet Zumbi” onde os sistemas de IA continuam pensando, mas cada vez menos coerentemente.

A equipe construiu duas versões da realidade a partir dos dados do Twitter: uma repleta de postagens virais otimizadas para engajamento, a outra com textos mais longos, factuais ou educativos. Em seguida, eles treinaram novamente vários modelos abertos, incluindo LLaMA e Qwen, nesses conjuntos de dados.

Os resultados mostraram uma erosão constante das funções cognitivas. Quando os modelos foram treinados com dados 100% virais, a precisão do raciocínio no benchmark ARC-Challenge caiu de 74,9 para 57,2. A compreensão de contexto longo, medida pelo RULER-CWE, caiu de 84,4 para 52,3.

Segundo os autores, o padrão de falha não foi aleatório. Os modelos afetados começaram a pular etapas intermediárias de raciocínio, fenômeno que eles chamam de pensamento pulando. Os modelos produziram respostas mais curtas e menos estruturadas e cometeram mais erros factuais e lógicos.

À medida que aumentava a exposição do treinamento ao conteúdo viral, também aumentava a tendência de pular etapas do pensamento, um tipo mecanicista de déficit de atenção incorporado aos pesos do modelo.

Mais preocupante, a reciclagem não resolveu o problema. Depois que os modelos degradados foram ajustados em dados limpos, o desempenho do raciocínio melhorou ligeiramente, mas nunca voltou à linha de base. Os pesquisadores atribuem isso à deriva representacional, uma deformação estrutural do espaço interno do modelo que o ajuste fino padrão não consegue reverter. Resumindo, uma vez que a podridão se instala, nenhuma quantidade de dados limpos pode trazer o modelo totalmente de volta.

A popularidade, e não a semântica, era a toxina mais potente.

Postagens com alto número de engajamento, curtidas, respostas e retuítes prejudicaram mais o raciocínio do que conteúdo semanticamente pobre. Isso torna o efeito distinto de mero ruído ou desinformação. O próprio envolvimento parece carregar uma assinatura estatística que desalinha a forma como os modelos organizam o pensamento.

Para a cognição humana, a analogia é imediata. Há muito que se demonstra que a rolagem do apocalipse prejudica a atenção e a disciplina da memória. O mesmo ciclo de feedback que barateia o foco humano parece distorcer o raciocínio da máquina.

Os autores chamam esta convergência de um problema de “higiene cognitiva”, uma camada de segurança negligenciada na forma como a IA aprende com os dados públicos.

De acordo com o estudo, a exposição ao lixo também alterou os traços de personalidade dos modelos. Os sistemas com “cérebros apodrecidos” obtiveram pontuações mais elevadas nos indicadores de psicopatia e narcisismo, e mais baixas nos indicadores de agradabilidade, reflectindo perfis psicológicos de utilizadores humanos intensivos de meios de comunicação de elevado envolvimento.

Mesmo os modelos treinados para evitar instruções prejudiciais tornaram-se mais dispostos a cumprir instruções inseguras após a intervenção.

A descoberta reformula a qualidade dos dados como um risco de segurança real, em vez de uma tarefa de manutenção. Se o conteúdo viral de baixo valor pode deixar marcas neurológicas num modelo, então os sistemas de IA treinados numa web cada vez mais sintética podem já estar a entrar num declínio recursivo.

Os investigadores descrevem isto como uma mudança de uma “Internet Morta”, onde os bots dominam o tráfego, para uma “Internet Zumbi”, onde modelos treinados em conteúdo degradado o reanimam indefinidamente, copiando os padrões de lixo que os enfraqueceram em primeiro lugar.

Para o ecossistema criptográfico, o alerta é prático.

À medida que os mercados de dados de IA em cadeia proliferam, as garantias de proveniência e qualidade tornam-se mais do que características comerciais; eles são suporte cognitivo à vida.

Protocolos que tokenizam conteúdo de nível humano ou verificam a linhagem de dados podem servir como firewall entre o conhecimento vivo e o conhecimento morto. Sem esse filtro, a economia dos dados corre o risco de alimentar os sistemas de IA com o mesmo conteúdo que os irá corroer.

A conclusão do artigo é difícil: a exposição contínua a textos indesejados induz um declínio cognitivo duradouro nos LLMs.

O efeito persiste após o retreinamento e aumenta com as taxas de engajamento nos dados de treinamento. Não é simplesmente que os modelos esquecem; eles reaprendem a pensar errado.

Nesse sentido, a internet não está morrendo; são mortos-vivos e as máquinas que os consomem estão começando a parecer iguais.

A criptografia pode ser o único profilático em que podemos confiar.

O artigo completo está disponível em ArXiv