A Anthropic, dona do assistente Claude, protocolou nos EUA o documento para abrir capital na bolsa (IPO). O prospecto tem 335 páginas, e cerca de 100 delas tratam de riscos. Segundo a coluna da MIT Technology Review, a empresa usa uma narrativa muito bem trabalhada para explicar o que está construindo e como acredita que vai mudar o mundo.

O texto cita falas de executivos da empresa. Jack Clark, cofundador e responsável por políticas, disse em um evento do FMI, em Bangkok, que a singularidade já começou, ou seja, o momento em que a tecnologia supera a capacidade de quem a criou. Chris Olah, outro cofundador, afirmou no Vaticano que a empresa encontra coisas misteriosas e até perturbadoras em seus modelos. A autora considera que essas falas ajudam a vender a ideia de uma tecnologia poderosa e perigosa, que só a própria empresa saberia controlar.

A polêmica ganhou força depois de uma discussão no X puxada por Nathan Calvin, da organização Encode AI, que defende regulação. Ele criticou um projeto de lei que a Anthropic propôs em segredo a parlamentares dos EUA, e que depois vazou. A autora lembra que a empresa, segundo a própria fala, seria ao mesmo tempo uma organização de segurança em IA e um grupo com pressa de criar a tecnologia mais avançada. O CEO Dario Amodei respondeu que a estratégia é a chamada corrida para o topo, em que mostrar que dá para desenvolver a tecnologia com responsabilidade pressiona o setor inteiro a fazer o mesmo, e admitiu ter cometido erros.

Para a autora, as tensões são grandes: uma organização de segurança e uma empresa movida por lucro têm prioridades diferentes. Ela conclui que não é fácil saber quanto confiar na empresa para se autorregular ou se seria preciso exigir testes externos de segurança sobre seus modelos. Para ela, uma empresa de tecnologia comum, sem o roteiro de ficção científica, seria muito mais fácil de entender.