Hoje a AWS anunciou um caminho mais simples para modernizar data lakes, que são grandes repositórios de dados usados em análises. O Amazon S3 Tables agora oferece migração gerenciada de tabelas Apache Hive para o formato Apache Iceberg. A migração funciona com tabelas Parquet no Amazon S3 registradas no AWS Glue Data Catalog, sem precisar construir pipelines nem provisionar computação, e as cargas de trabalho em produção continuam rodando durante o processo.

Pense no Iceberg como uma forma organizada de guardar grandes volumes de dados, que permite mudar a estrutura das tabelas, voltar a versões anteriores e consultar tudo com diversas ferramentas compatíveis. Antes, migrar do Hive para o Iceberg podia levar semanas de trabalho de engenharia para montar e manter a infraestrutura, além de exigir ajustes de tipos de dados e de planos de reversão. Agora isso vira uma operação gerenciada, disparada por API.

O S3 Tables cuida de todo o fluxo: validação dos dados, checagens de compatibilidade, conversão de tipos, recompactação de arquivos e compactação. Antes de copiar qualquer dado, ele identifica todos os objetos de origem e gera um relatório de compatibilidade. É possível sincronizar quantas vezes forem necessárias sem parar as gravações na tabela original, exceto por alguns minutos na troca final, o que reduz o tempo em que as tabelas ficam indisponíveis. Segundo a AWS, o custo é baseado apenas nos dados copiados, sem cobrança pela conversão de Hive para Iceberg.

O processo pode ser iniciado pelo console do S3, pela AWS CLI, pelos SDKs ou pelo Agent Toolkit for AWS, com o comando start-table-migration. A AWS também cita o suporte a agentes de programação como o Kiro, com uma skill específica para orientar a migração. Durante a cópia, a tabela de destino fica somente leitura e só passa a aceitar gravações depois de concluída a migração.

O recurso está disponível hoje nas regiões Norte da Virgínia, Ohio, Oregon, Mumbai, Singapura, Sydney, Tóquio, Frankfurt, Irlanda e Estocolmo. No lançamento, ele aceita apenas tabelas Hive registradas no Glue, em formato Parquet, dentro da mesma conta e da mesma região da AWS. A notícia é de interesse para equipes de dados e engenharia que mantêm grandes análises na nuvem, mas não envolve falha de segurança nem exige ação imediata de quem não usa esses serviços.