Ontem, quinta-feira (22/10), a OpenAI tornou sua Decisions API disponível para todos os clientes. Ela foi anunciada no evento para desenvolvedores de 29 de setembro e entra em um mercado que cresce: modelos rápidos e baratos para decidir entre opções. A ideia nasceu de um modelo da startup TypeSafe, avaliada em US$ 7,6 bilhões, chamado Jev.

Pense nesses modelos como um atendente que só precisa escolher entre algumas opções e dizer quão seguro está da escolha. Desenvolvedores perceberam que eles podem substituir os LLMs em vários fluxos de trabalho, porque respondem mais rápido e custam bem menos. Em vez de criar um modelo específico, a equipe da OpenAI pegou o ChatGPT Luna e o reconfigurou para acelerar a inferência e reduzir o custo.

Segundo o executivo Nikunj Handa, o ganho principal está na velocidade: o tempo de resposta caiu de um a três segundos para algo entre 100 e 180 milissegundos. A OpenAI também acrescentou novas modalidades de voz e imagem à versão pública e ampliou a latência baixa em várias regiões do mundo, direcionando os recursos de inferência geograficamente.

Clientes como Box, Datadog, Ramp e Speak testaram a API substituindo os LLMs da OpenAI. A Speak, que faz tutores de idiomas com IA, reduziu o tempo entre uma ação e outra de 1,4 segundo para 0,13 segundo. A própria OpenAI usou o produto para deixar mais ágil o seu assistente de voz Dots.

A reportagem destaca que ainda não há consenso sobre o que torna um bom modelo de decisão. Os rankings públicos, chamados de benchmarks, mudam conforme o critério, e o Jev aparece em sétimo e terceiro lugar, enquanto o modelo da OpenAI ficou em oitavo e décimo quarto. Para quem usa a tecnologia, a recomendação implícita é testar os modelos no próprio trabalho antes de escolher.