Os auditores de IA da Big Tech só verão o que lhes é mostrado

Para ser justo com a OpenAI, ela permitiu o teste em primeiro lugar. Mas mostra o quanto depende do que uma empresa escolhe compartilhar.

Um modelo de IA treinado é essencialmente um arquivo muito grande de números, muitas vezes custando mais de US$ 100 milhões para ser produzido, e quem tiver uma cópia possui o modelo. Entregar cópias a terceiros é um risco de segurança. Até recentemente, isso deixava os testadores com uma escolha estranha, que o Google DeepMind descreveu bem: ou os testadores entregam as suas perguntas, para que a empresa veja o exame com antecedência, ou a empresa entrega o seu modelo.

Em agosto, a DeepMind mostrou uma maneira de contornar isso. Trabalhando com o AI Safety Institute de Singapura e três outros grupos externos, realizou o que chamou de primeiro teste duplo-cego de um modelo de IA do mundo, com base no mesmo princípio de um ensaio duplo-cego de medicamentos. O teste foi executado em hardware de computador lacrado, de modo que os testadores externos nunca viram o modelo e o Google nunca viu suas perguntas. O Google diz que cada lado pode verificar matematicamente se seu material permaneceu privado.

Também transfere a confiança para o hardware. No ano passado, pesquisadores invadiram esse tipo de hardware selado com menos de US$ 1.000 em equipamento, embora precisassem de acesso físico ao servidor para fazer isso. Vale a pena levar isso a sério. Mas é um problema muito menor do que “não podemos deixar ninguém se aproximar do modelo”, e pode ser resolvido tomando cuidado com quem controla as máquinas.