A Reflection lançou o Beam, seu primeiro modelo de IA com pesos abertos, feito para desenvolvedores, pesquisadores e empresas que querem controlar e personalizar a ferramenta em tarefas de engenharia de software e agentes que trabalham por longos períodos. Ele tem licença Apache 2.0 e já saiu com versões BF16, FP8 e NVFP4. Segundo a fonte, ele usa cerca de 23 bilhões de parâmetros ativos por token, de um total de cerca de 501 bilhões, e tem uma janela de contexto de aproximadamente 1 milhão de tokens.

No mesmo dia, o Google Cloud anunciou suporte imediato (chamado de day 0) e receitas de implantação prontas para rodar o Beam na sua infraestrutura de IA, em conjunto com a NVIDIA. Segundo a Reflection, a implantação no Google Cloud trouxe até 5 vezes mais desempenho e 8 vezes menos latência para cargas de trabalho de agentes. Esses números são resultados de testes de clientes, e não de um benchmark independente.

O grande problema é que um agente de programação faz dezenas de chamadas ao modelo em uma mesma sessão, e o histórico da conversa, com arquivos, diferenças de código e logs, cresce para dezenas ou centenas de milhares de tokens. Balanceadores de carga comuns do Kubernetes mandam cada pedido para uma réplica diferente, então a réplica precisa recalcular todo o histórico do zero, desperdiçando GPU e formando filas.

Para resolver isso, as receitas combinam o Beam com llm-d (com vLLM) e NVIDIA Dynamo (com SGLang). O roteamento passa a enviar cada nova etapa da conversa para a réplica que já guardou o histórico, e a memória de cache é distribuída entre a GPU, a memória RAM do servidor e um SSD local, evitando recálculos. Também são usados separação entre preenchimento e geração de respostas e decodificação especulativa.

Os ganhos vêm em máquinas diferentes: o Dynamo rodou em instâncias A4X Max com GPUs NVIDIA GB300, e o llm-d em VMs G4 com GPUs NVIDIA RTX PRO 6000. Como as configurações não são comparáveis entre si, cada gráfico mostra o ganho sobre uma linha de base no mesmo hardware. As receitas e os manifests do Kubernetes estão disponíveis como código aberto para quem quiser rodar em seu próprio cluster GKE. A fonte não traz orientações de segurança para este lançamento.