O que é cache KV?
Cache KV é uma área de memória que modelos de IA usam para guardar os cálculos já feitos sobre um texto, para não precisar refazê-los a cada palavra nova. Ele acelera as respostas e reduz o gasto de processamento.
Na prática, quando um modelo de linguagem gera uma resposta, ele calcula representações internas (os chamados vetores de chave e valor, o K e o V) para cada palavra já lida. Sem cache, ele refaria esses cálculos para todo o texto anterior a cada novo token gerado. Com o cache KV, esses valores ficam armazenados e são apenas reaproveitados, o que faz a geração ficar bem mais rápida, sobretudo em conversas longas.
Uma analogia simples é pensar em um cozinheiro que, em vez de picar de novo toda a cebola a cada prato, já deixa as cebolas picadas numa travessa ao lado do fogão. Ele continua cozinhando, mas não perde tempo repetindo o mesmo trabalho.
Por ser uma memória com dados de conversas e textos processados, o cache KV precisa de isolamento rigoroso entre usuários. Uma falha de configuração pode fazer informações de uma pessoa aparecerem para outra, como casos recentes de vazamento mostraram. Por isso, provedores de IA tratam esse armazenamento como dado sensível e o separam por sessão e por cliente.