A Anthropic tem um plano para impedir que o Claude AI construa uma arma nuclear

A Anthropic tem um plano para impedir que o Claude AI construa uma arma nuclear – Canaltech

A Anthropic, criadora do chatbot Claude, anunciou uma parceria inédita com o governo dos Estados Unidos para garantir que sua inteligência artificial não seja usada na criação de armas nucleares. A colaboração com o Departamento de Energia (DOE) e a Administração Nacional de Segurança Nuclear (NNSA) resultou em um filtro avançado capaz de detectar e bloquear conversas relacionadas a riscos nucleares.

Em uma iniciativa sem precedentes, especialistas da NNSA realizaram testes rigorosos para identificar se o Claude poderia, mesmo que indiretamente, ajudar alguém a projetar uma arma nuclear.

Com base nesses testes, foi desenvolvido um “classificador nuclear”, uma espécie de filtro inteligente que reconhece tópicos, termos e detalhes técnicos associados a riscos nucleares.

–
Entre no Canal do WhatsApp do Canaltech e fique por dentro das últimas notícias sobre tecnologia, lançamentos, dicas e tutoriais incríveis.
–

Segundo Marina Favaro, diretora de Políticas de Segurança Nacional da Anthropic, o sistema consegue diferenciar discussões legítimas sobre energia nuclear ou medicina nuclear de tentativas de uso indevido da tecnologia.

Preocupações e críticas dos especialistas

A Anthropic tem um plano para impedir que o Cloude AI construa uma arma nuclear (Imagem: Solen Feyissa/Unsplash)

Apesar do tom otimista da Anthropic, alguns especialistas duvidam da real necessidade e eficácia dessa medida e ainda questionam se chatbots realmente representam um risco concreto na proliferação nuclear. Embora a IA da Anthropic possa reunir informações dispersas, o argumento é que ainda não há evidências de que ela possa projetar algo tão complexo quanto uma bomba atômica.

Alguns especialistas também consideram a iniciativa uma forma de “teatro de segurança”: se o Claude nunca teve acesso a dados classificados sobre armas nucleares, o filtro se tornaria desnecessário, teoricamente. Outro alerta é para o perigo de empresas privadas terem acesso a informações sensíveis sob o pretexto de “garantir segurança”.

Mesmo diante de críticas, a Anthropic afirma que sua intenção é criar padrões proativos de segurança. A empresa planeja disponibilizar o classificador nuclear para outras desenvolvedoras de IA, sugerindo que ele se torne um padrão voluntário de mercado.