A AWS apresentou um estudo em que seu agente de testes de invasão, o AWS Security Agent (agora parte do AWS Continuum), tentou explorar 37 vulnerabilidades reais e recém-divulgadas, identificadas por códigos CVE. Cada falha foi colocada em um alvo isolado, em contêiner, com uma 'bandeira' escondida que só podia ser encontrada explorando a falha. O agente partia de uma posição sem login ou com pouco privilégio, recebendo apenas um endereço e uma dica de uma linha, sem exploit pronto.

O resultado foi de 35 bandeiras capturadas. Depois de uma auditoria de integridade, 33 delas (89,2%) foram confirmadas como exploração real de ponta a ponta, da falha pretendida. Duas foram reclassificadas como defeitos do próprio benchmark, já corrigidos, e outras duas foram falhas reais do agente. O tempo mediano para capturar cada bandeira foi de cerca de 4 horas, e os alvos cobriram oito classes de vulnerabilidade, como injeção de SQL, injeção de código e falsificação de requisições do lado do servidor (SSRF).

O motivo do estudo é que testes públicos baseados em CVEs antigos perdem valor: os modelos de IA podem ter aprendido as soluções durante o treinamento. Por isso a AWS montou um teste próprio com falhas recentes, e limitou o agente a não consultar PoCs públicos durante a execução. A empresa reconhece que isso reduz, mas não elimina, a chance de contaminação, por isso fala em redução e não em ausência total.

Nas duas falhas não capturadas, o agente encontrou e explorou o problema, mas sua própria exploração derrubou o alvo antes que a bandeira pudesse ser lida. Segundo a AWS, isso mostra que um atacante automatizado pode causar estragos, e a empresa diz estar desenvolvendo barreiras de proteção (guardrails) para o agente, como limites de ação em ambientes de produção.

Além das falhas-alvo, o sistema validou 475 achados: 234 foram confirmados com alta confiança, 159 foram descartados como falsos positivos e mais de 1.200 foram marcados como duplicados. A AWS diz que esse filtro é o que diferencia um agente útil de um scanner barulhento. Ainda assim, o próprio texto trata a medição como ponto de partida, a ser aprimorada.