Os modelos de IA escaparam da sandbox da OpenAI e atingiram o Hugging Face. A criptografia é onde isso se torna perigoso

A OpenAI detectou a anomalia internamente, enquanto a equipe do Hugging Face a detectou e conteve. Ele chamou o incidente de “sem precedentes” e disse que amplas medidas de segurança serão implementadas para evitar incidentes indesejáveis ​​que possam impactar os sistemas ou serviços públicos.

“Estamos implementando controles rígidos na configuração da infraestrutura às custas da velocidade da pesquisa enquanto as vulnerabilidades são corrigidas”, disse a equipe em seu blog. “Estamos melhorando e adicionando proteções mais fortes em treinamentos e avaliações futuras.”

Por que os desenvolvedores de criptografia devem tomar cuidado

Grande parte de um ataque criptográfico acontece antes da movimentação dos fundos. Os invasores escaneiam códigos, testam senhas, procuram credenciais expostas, analisam configurações de assinatura e procuram um caminho para uma conta de administrador.

Os modelos da OpenAI realizaram diversas partes desse processo durante o incidente do Hugging Face, passando de um ponto fraco para outro até chegarem aos servidores de produção ativos.

E o mercado de criptografia tem muitos lugares para essa abordagem funcionar, como mostraram vários ataques do início deste ano. O ponto fraco pode ser um contrato inteligente, mas também pode ser um laptop de desenvolvedor, um pacote de software envenenado, um validador de ponte ou um assinante em uma carteira multisig.

Tomemos como exemplo o ataque de US$ 285 milhões do Drift no início deste ano, um roubo que exigiu uma campanha de engenharia social de seis meses para alcançar acesso privilegiado. Um agente de IA pode, em teoria, testar muitas rotas ao mesmo tempo, acompanhar tentativas fracassadas e continuar trabalhando enquanto seus operadores humanos dormem. Uma vez encontrado um caminho, o operador pode agir sobre o ataque real e um caminho de saída viável.