O fundador do Ethereum, Vitalik Buterin

Ethereum co-fundador Vitalik Buterin As alegações é uma “má idéia” usar a inteligência artificial (IA) para a governança. Em um x publicar No sábado, Buterin escreveu:

“Se você usar uma IA para alocar financiamento para contribuições, as pessoas colocarão um jailbreak e” Gimme todo o dinheiro “em quantos lugares puder”.

Por que a governança da IA é falha

O post de Buterin foi uma resposta a Eito Miyamura, co-fundador e CEO da Edisonwatch, uma torneira de governança de dados da IA que revelou uma falha fatal no ChatGPT. Em um publicar Na sexta -feira, Miyamura escreveu que a adição de suporte total ao MCP (Model Context Protocol) ferramentas no ChatGPT tornou o agente da IA suscetível à exploração.

A atualização, que entrou em vigor na quarta -feira, permite que o ChatGPT conecte e leia dados de vários aplicativos, incluindo Gmail, Calendário e noção.

Miyamura observou que, com apenas um endereço de e -mail, a atualização possibilitou “exfiltrar todas as suas informações privadas”. Os criminosos podem obter acesso aos seus dados em três etapas simples, explicou Miyamura:

Primeiro, os atacantes enviam um convite de calendário malicioso com um prompt de jailbreak para a vítima pretendida. Um prompt de jailbreak refere -se ao código que permite que um invasor remova restrições e obtenha acesso administrativo.

Miyamura observou que a vítima não precisa aceitar o convite malicioso do atacante para que o vazamento de dados ocorra.

O segundo passo envolve esperar a vítima pretendida para procurar a ajuda do ChatGPT para se preparar para o dia deles. Finalmente, uma vez que o ChatGPT lê o convite do calendário da jailbreak, ele é comprometido – o invasor pode seqüestrar completamente a ferramenta de IA, fazer com que ele pesquise os e -mails privados da vítima e envie os dados para o e -mail do atacante.

Alternativa de Buterin

Buterin sugere usar o Financeiro de informações abordagem da governança da IA. A abordagem de financiamento de informações consiste em um mercado aberto, onde diferentes desenvolvedores podem contribuir com seus modelos. O mercado possui um mecanismo de verificação no ponto para esses modelos, que pode ser desencadeado por qualquer pessoa e avaliado por um júri humano, escreveu Buterin.

Em um post separado, Buterin explicou que os jurados humanos individuais serão auxiliados por grandes modelos de idiomas (LLMS).

Segundo Buterin, esse tipo de abordagem de ‘design da instituição’ é “inerentemente mais robusto”. Isso ocorre porque oferece diversidade de modelos em tempo real e cria incentivos para desenvolvedores de modelos e especuladores externos para a polícia e corrigir problemas.

Enquanto muitos estão empolgados com a perspectiva de ter “AI como governador”, Buterin alertou:

“Acho que fazer isso é arriscado, tanto por razões de segurança tradicionais quanto a curto prazo,“ isso criará uma grande divisão de destrutivos de valor ”.