O que é Parquet?
Parquet é um formato de arquivo que organiza dados em colunas, em vez de linhas, para guardar grandes volumes de informação de forma compacta e rápida de consultar. Ele é muito usado em análise de dados e em sistemas de big data.
Na prática, quando um programa precisa calcular a média de uma única coluna de uma tabela com milhões de registros, o Parquet permite ler só aquela coluna, sem carregar o resto. Ele também comprime os valores de cada coluna, que costumam ser parecidos entre si, o que reduz o espaço ocupado no disco e na rede.
Uma analogia simples é pensar em uma planilha de vendas: em vez de ler linha por linha para achar todos os preços, você tem uma gaveta só com os preços, separada das outras informações. Fica mais rápido achar o que interessa e a gaveta ocupa menos espaço.
Para quem trabalha com dados, vale saber que o Parquet é um formato amplamente compatível com ferramentas de análise, o que facilita trocar informações entre sistemas. Ao usar arquivos desse tipo, é importante controlar quem tem acesso a eles, já que dados sensíveis continuam sensíveis mesmo em formato compactado.