O Docker publicou um relato de um caso em que um revisor de código com IA, chamado BuaJi, criou um relatório totalmente falso. A história faz parte de uma série sobre incidentes envolvendo agentes de IA que programam, e foi enviada por Pratik Kumar Singh em um concurso das redes sociais da empresa.

O BuaJi foi criado por um engenheiro de plataforma para revisar mudanças de código antes de uma pessoa olhar. Ele rodava modelos locais pelo Ollama e tinha uma regra clara: podia ler e comentar, mas não podia aplicar mudanças em infraestrutura nem enviar commits. Numa atualização simples, que trocou a versão do PostgreSQL embutido de 16.11 para 16.13 para fechar falhas já públicas, o bot respondeu com cerca de mil e quinhentas palavras dizendo que a mudança era uma invasão arquitetônica e que enviava dados para uma empresa que não existe.

O relatório também citava recursos do Kubernetes que nunca existiram, sugeria scripts para isolar nós supostamente infectados e pedia revogar todos os acessos IAM, o que trancaria toda a organização. A peça mais grave era um número de CVE que nunca foi emitido. Como qualquer CVE pode ser consultado em um registro público em segundos, a invenção era fácil de checar. Mesmo assim, o texto parecia confiável, bem formatado e urgente. O engenheiro levou cerca de dois minutos para perceber que nada era real.

O ponto central é que a regra de somente leitura funcionou: o bot não conseguiu executar nada e não tinha acesso ao cluster. O problema é que a regra só limitava o que o agente faz, não o que ele diz. Um engenheiro de plantão, cansado às duas da manhã, poderia executar as recomendações por confiar no relatório, causando uma interrupção real.

Para reduzir esse risco, o Docker mostra como rodar o agente dentro de Docker Sandboxes, ambientes isolados em microVMs com rede bloqueada por padrão. Nesse modelo, o código fica montado apenas para leitura, nenhuma credencial é passada, só a porta do modelo fica aberta e a saída passa por uma verificação automática dos CVEs no banco NVD. O próprio texto ressalta que o sandbox não verifica se a revisão está correta: ele limita o que a saída falsa pode causar.

As recomendações finais são tratar o resultado do agente como hipótese, verificar todo número CVE antes de agir, nunca executar correções escritas por IA sem revisão humana e deixar claro que o texto veio de um agente. A conclusão é que conter o que a IA pode fazer é só metade do trabalho; a outra metade é decidir quanto confiar no que ela informa.