Construir um agente de IA é a parte fácil; o difícil é medir se ele realmente funciona. Segundo o Google Cloud, a engenharia de avaliação é a base para criar sistemas de IA confiáveis, capazes de detectar falhas silenciosas, como chamadas de API que não acontecem ou erros que passam despercebidos.

O texto relata a experiência com o plugin Google Cloud Developer, lançado recentemente e usado como campo de testes. Na primeira rodada, com 11 pedidos, um avaliador automático que lia apenas a resposta final do agente marcou três tarefas como falhas. Ao abrir os registros reais de comandos, a equipe viu que o plugin tinha passado nas três. Em um exemplo de limpeza no Cloud Run, o agente verificou a sintaxe do comando antes de executar, mas a resposta final focou em alertar sobre perda permanente de dados. O avaliador penalizou o agente por não mencionar algo que ele de fato fez.

Outra lição é sobre a forma de extrair os registros. Quando as chamadas de ferramentas são achatadas em uma lista sequencial, perde-se a informação de que várias chamadas foram disparadas juntas no mesmo turno. Em um caso, a instrução de uma habilidade só chegou ao contexto depois que as buscas já tinham sido executadas, o que pode fazer engenheiros perderem dias tentando entender por que o agente ignorou uma orientação clara.

O Google Cloud recomenda ainda rodar duas condições lado a lado: uma execução real, com credenciais de sandbox e comandos de fato executados, e uma execução só de planejamento, sem credenciais, em que o agente apenas explica o que faria. A execução real mostra segurança e sintaxe; a de planejamento mostra o raciocínio puro do modelo, sem ser bloqueada por erros de permissão. Segundo a equipe, cerca de metade dos achados mais importantes veio da diferença entre as duas.

Por fim, a empresa defende manter conjuntos de referência construídos por especialistas humanos e rodar testes contínuos, pois modelos e ferramentas mudam com frequência. Também critica o chamado demo de tentativa única, em que alguém testa um pedido isolado e chama isso de avaliação. Para o Google Cloud, só conjuntos de testes bem elaborados dão confiança para operar agentes em infraestrutura real de nuvem.