Marca d’água do Claude ajuda na transparência, mas não prova autoria de textos

A Anthropic revelou uma marca d’água para verificar se um “passou” pelo Claude ou não. A iniciativa busca atender às regras de transparência do AI Act europeu, mas não deve ser interpretada como uma prova definitiva de que o texto foi escrito com IA, sobretudo após revisões humanas.

Segundo o fundador do Centro de Excelência em Inteligência Artificial da Universidade Federal de Goiás (CEIA-UFG), Anderson Soares, a solução deve ser entendida como um sinal de procedência ou de transparência probabilística, e não como prova isolada.

A técnica pode apontar que o Claude provavelmente participou da produção de um conteúdo, mas não separa, por si só, um texto integralmente gerado pelo modelo de outro que foi elaborado por uma pessoa e apenas revisado com IA.

Essa diferença é importante em situações de contestação, como suspeitas de plágio, fraude acadêmica ou desinformação. Nesses casos, a marca d’água não permite concluir sozinha quem escreveu o texto, em que proporção a IA foi usada ou se houve edição humana posterior.

“Você pode ter uma suspeita, mas transformar essa suspeita em uma prova é algo muito mais complexo. Em um contexto criminal, por exemplo, seria extremamente difícil utilizar esse tipo de mecanismo como prova isolada”, disse Soares em entrevista ao Canaltech.

Na avaliação do especialista, o uso mais adequado da tecnologia é complementar outros mecanismos de verificação. “O objetivo declarado da tecnologia, relacionado ao artigo 50 do AI Act, é funcionar como um sinal de proveniência ou de transparência probabilística. Não é um detector forense à prova de adversários”, diz.

Detecção depende de chave privada e de textos longos

O indicador não inclui caracteres ocultos, metadados ou uma informação extra no texto, ao contrário do que ocorre em imagens. De acordo com a Anthropic, o sistema modifica a fonte de aleatoriedade utilizada pelo modelo para escolher entre palavras plausíveis durante a geração.

“Quando a IA está escolhendo a sequência de palavras, ela utiliza probabilidades para fazer essas escolhas”, explica Soares. A técnica mantém uma espécie de padrão estatístico nessas decisões, que pode ser associado à chave privada da empresa.

Dessa forma, a verificação depende da chave mantida pela companhia. “Por enquanto, não é possível verificar de forma independente se um texto específico contém ou não a marca sem ter acesso a essa informação”, afirma Soares.

Pesquisadores podem analisar a metodologia usada, discutir seus vieses e avaliar a técnica de forma geral. No entanto, conforme apontado pelo especialista, não conseguem reproduzir integralmente a checagem de um texto específico sem acesso à chave da Anthropic.

A própria companhia afirma que a ferramenta tem uma eficácia menor em amostras curtas, pois há menos escolhas de palavras para compor o sinal estatístico. O mesmo ocorre em respostas muito factuais, correções gramaticais pontuais e código, situações em que o modelo tem menos liberdade para formular o conteúdo de maneiras diferentes.

Por isso, o sistema tende a funcionar melhor em textos mais longos e livres, como artigos, relatórios e ensaios. Nesses casos, uma quantidade maior de escolhas linguísticas pode elevar a confiança de que o Claude participou da elaboração do material.

Edição pode reduzir a eficácia

A Anthropic pontua que edições leves provavelmente não removem completamente a marca, enquanto uma reescrita integral pode eliminá-la por completo. Para o fundador do CEIA-UFG, porém, o problema não se resume a uma substituição palavra por palavra.

“Uma edição típica, como reescrever trechos, cortar parágrafos, ajustar o tom ou trocar algumas palavras já pode colocar o texto em uma zona em que a confiabilidade da detecção despenca”, avalia.

Esse ponto é especialmente relevante em fluxos onde o texto gerado é editado antes de ser publicado ou compartilhado. Assim, a marca oferece mais utilidade quando o conteúdo permanece próximo à versão gerada originalmente pelo modelo.

“Essa é uma limitação de design que já é conhecida cientificamente”, pontua Soares. “A ferramenta parece ter sido pensada muito mais para conformidade regulatória e sinalização em larga escala do que para a arbitragem forense de casos individuais contestados.”

{{WHATSAPP_CHANNEL}}

Source link