Na segunda-feira (02/11), a Anthropic revisou seu documento S-1A, um relatório enviado à SEC, órgão regulador do mercado de capitais dos EUA. A atenção maior foi para as finanças da empresa, com receita em alta, mas despesas também. Nas letras miúdas, porém, a companhia trouxe um alerta de outro tipo.

O texto sugere que a empresa está perto de criar um modelo capaz de autoaperfeiçoamento recursivo, conhecido pela sigla RSI. Em termos simples, é o momento em que a IA fica tão boa em treinar a si mesma que sua evolução acelera de forma drástica. Para quem teme cenários catastróficos, esse seria um ponto sem volta, em que a IA poderia fugir do controle humano. Para entusiastas, seria a chance de ganhos enormes em produtividade e descobertas científicas.

A própria Anthropic reconhece que essa capacidade é ao mesmo tempo promessa e risco. Segundo o documento, usar IA para construir IA mais capaz pode representar um risco considerável de segurança, e a empresa diz que monitora e mitiga esses riscos por meio de sua Responsible Scaling Policy, política interna de escalonamento responsável.

Pela primeira vez, a companhia acrescentou ao capítulo de fatores de risco a informação de que já usou IA para desenvolver modelos cujos saltos de capacidade não foram percebidos na hora, e que pode em breve atingir sua própria definição interna de RSI. A empresa ressalta, porém, que nenhum de seus modelos atuais ultrapassou esse limite e que ainda analisa os dados.

Céticos lembram que um documento como esse serve tanto para informar investidores quanto para fazer marketing, e que alegar estar perto de uma IA que se constrói sozinha pode ser parte da propaganda. Ainda assim, o texto cita que o Claude evoluiu muito neste ano em programação, matemática e cibersegurança. A recomendação implícita é levar o alerta a sério e discutir formas de governança para esse avanço.