Um pesquisador da startup de IA Goodfire, Nick Cammarata, publicou um texto longo de 26 mil palavras afirmando que os grandes modelos de linguagem (LLMs) podem ser mais fáceis de entender, monitorar e controlar do que se pensava. A publicação agitou o meio de IA, com muita empolgação e também muita desconfiança.

Para entender o assunto, pense numa rede neural como um emaranhado de conexões que aprende sozinho a reconhecer padrões. Por muito tempo, os pesquisadores acharam que o funcionamento interno desses sistemas era quase impossível de desvendar, como um jardim que cresce sozinho, e não como uma ponte construída peça por peça.

Cammarata diz que, ao observar neurônios com mais calma e com novas ferramentas, percebeu uma lógica por trás de comportamentos que antes pareciam sem sentido. Em um exemplo, um neurônio de um modelo antigo de reconhecimento de imagens respondia tanto a carros quanto a gatos. Ao olhar com outros olhos, ele viu que ambos compartilhavam um formato em V, o que mudou a interpretação do comportamento.

Nem todos concordam. O pesquisador Chris Potts, da Universidade Stanford, diz que o que foi apresentado é pouco mais que uma intuição. Jacob Hilton, da Alignment Research Center, lembra que os pesquisadores entendem menos de 0,01% do funcionamento interno dos principais LLMs. Neel Nanda, do Google DeepMind, também considera o trabalho interessante, mas não uma mudança significativa no panorama geral.

O próprio Cammarata reconhece que a interpretação foi exagerada por muita gente: ele diz que não é uma boa notícia infinita e que ainda há muitas perguntas abertas. Para ele, o resultado dá esperança à comunidade de segurança de IA, mas o trabalho de entender e controlar essa tecnologia mal começou. Os resultados técnicos com modelos atuais ainda devem ser publicados.