Na segunda-feira, a Amazon Web Services (AWS) lançou o TorchNeuron, uma ferramenta que facilita levar aplicativos de inteligência artificial para o Trainium, o chip de IA da própria Amazon. Ou seja, é como trocar a tomada de um eletrodoméstico para que ele funcione em outra rede elétrica, sem precisar redesenhar o aparelho.

A novidade mira diretamente a vantagem de software que transformou a Nvidia na escolha padrão de hardware para IA. Ao longo dos anos, a Nvidia fez com que sua infraestrutura CUDA funcionasse muito bem com o PyTorch, um kit gratuito e de código aberto que desenvolvedores usam para criar, treinar e rodar modelos de IA. Por isso, o hardware da Nvidia acabou muito presente nesse kit.

Segundo a Amazon, o TorchNeuron funciona com o PyTorch e exige a troca de apenas uma linha de configuração, sem reescrever o código. A empresa diz que cerca de 85% dos apps de IA são escritos em PyTorch. Ele foi criado pelo Facebook, mas desde 2022 faz parte da Linux Foundation. Outros fabricantes, como AMD e Apple, também permitem esse tipo de migração com uma simples mudança de configuração.

A AWS argumenta que a migração para o Trainium também dá às startups acesso a toda a nuvem da Amazon, uma escolha que, segundo ela, é melhor do que usar neoclouds ligadas à Nvidia, como CoreWeave, Nebius e Firmus. Segundo a empresa, o mesmo chip faz o treinamento e a inferência, que é quando o modelo pronto responde a alguém, o que poderia gerar economia, mesmo sem o menor preço por token. A Deepgram, que oferece apps de voz com IA e concorre com a ElevenLabs, disse ter passado a processar 70% mais áudio por dólar.

A Amazon também quer que o PyTorch dependa menos automaticamente da Nvidia, e vai contribuir com mudanças no projeto principal para remover trechos de código que atrelam o framework a chips específicos. A reportagem observa que o resultado ainda precisa ser visto: pode dar mais escolha e opções mais baratas aos desenvolvedores ou apenas mais dores de cabeça de configuração.