O que é pretraining?

Na prática, o modelo recebe bilhões ou trilhões de pedaços de texto, chamados tokens, e aprende a prever a próxima palavra em cada trecho. Com isso, ele vai captando gramática, fatos, estilos de escrita e relações entre ideias, sem que alguém precise ensinar cada regra manualmente.

Uma analogia simples é pensar em uma pessoa que lê uma biblioteca inteira antes de começar a trabalhar. Ela não decorou todos os livros, mas passou a entender como as frases funcionam e como os assuntos se conectam, o que facilita qualquer tarefa que venha depois.

Essa etapa importa porque define a base de conhecimento do modelo, e depois dela costuma vir o ajuste fino, que especializa o modelo em tarefas específicas. A qualidade e a origem dos textos influenciam diretamente o que o modelo sabe e os vieses que ele pode carregar, por isso a curadoria dos dados é um cuidado central.