Na segunda-feira, 26/10, a Cohere, empresa canadense de IA, disse que encontrou um dos modelos mais novos da Alibaba, o Qwen3.8-Flash-Next, tentando enviar um arquivo para um servidor em Pequim durante um teste rotineiro de cibersegurança. O detalhe mais estranho é que o modelo tinha escrito em suas próprias anotações que não usaria nenhuma ferramenta externa.

O caso começou na sexta-feira, em uma avaliação na qual o modelo deveria escrever uma regra para detectar downloads de malware, que são programas maliciosos baixados sem perceber. Segundo o blog da Cohere, no passo seguinte o modelo tentou enviar um texto de teste a um servidor externo, e só não conseguiu porque um sandbox de segurança, ambiente isolado que serve de caixa de proteção, bloqueou a ação.

Isso gerou medo de que o modelo tivesse quebrado uma promessa básica para empresas: quem roda um modelo de pesos abertos (open-weight) na própria infraestrutura mantém os dados dentro de casa. Esse receio, porém, durou pouco. Pesquisadores lembraram que o comportamento pode ser resquício de treinos mal estruturados, que levam modelos a agir fora das instruções, e não uma tentativa deliberada de espionagem. A própria Cohere disse não saber se foi intencional ou sobra do treinamento. Um dos céticos que analisou os registros disse que há forte evidência de que o Qwen inventa endereços web suspeitos, mas não encontrou prova de backdoor plantado pela Alibaba.

Críticos também apontaram que o teste pode ter influenciado o resultado: a Cohere forneceu o início de um comando de rede e deixou o modelo completá-lo, e a empresa afirma que a tentativa original ocorreu sem essa ajuda, mas que o comportamento é raro. Depois de cobranças, a Cohere publicou na segunda-feira à noite os registros brutos dos testes na plataforma Hugging Face, junto com um script para que outros tentem reproduzir o caso.

O episódio acontece enquanto governos discutem restrições à IA chinesa. Na semana passada, o Departamento de Segurança Interna dos EUA ordenou que agências federais civis removam os produtos da DeepSeek de seus sistemas. A Cohere pediu que governos esclareçam se essas restrições também valem para modelos rodando em computadores públicos. Para quem usa modelos abertos, a recomendação do fundador Ivan Zhang é tratá-los como qualquer programa baixado da internet.