A NVIDIA, em parceria com o IIT Madras e o laboratório AI4Bharat, anunciou o Nemotron-pretraining-Indic-v1, um conjunto de dados com cerca de 2,8 trilhões de tokens em 22 línguas indianas, as mesmas listadas na Constituição da Índia. Segundo a fonte, essas línguas são a primeira língua de 97% dos indianos, algo perto de 1,2 bilhão de pessoas no Censo de 2011. O material deve ser liberado em breve, junto com o pipeline aberto usado para gerá-lo.

Para entender o tamanho do feito, pense em um token como um pedaço de palavra ou de texto que o modelo aprende a processar. Treinar uma IA exige muito texto, e o problema apontado pelo time é que faltam dados em línguas indianas, que ficam atrás do inglês. O corpus tenta preencher essa lacuna traduzindo e adaptando conteúdos em inglês, como matemática, código e perguntas e respostas, para idiomas indianos. Cada registro aponta para um documento original, e cada saída é conferida contra a entrada para manter o texto ancorado em informações reais.

O conjunto tem texto em escrita nativa para as 22 línguas e também em alfabeto latino (romanizado) para doze delas. Na etapa de doze idiomas, o modelo Gemma-4-31B-it traduz documentos completos, avalia a qualidade com uma régua inspirada no MQM e retém apenas traduções com nota de pelo menos 75 em 100. Traduções abaixo disso são reescritas com base no feedback da própria avaliação. Já para as outras dez línguas, a tradução usa o modelo Indic Translate, da Bodhan AI, com tratamento especial para documentos longos e para as línguas Santali e Manipuri.

Os resultados citados vêm do relatório técnico do modelo Nemotron 3.5 Super VL, que recebeu 10 bilhões de tokens indianos nessa etapa de treino. Os ganhos ficaram entre 4,98 e 9,82 pontos percentuais em cinco testes de conhecimento e raciocínio em línguas indianas, mas a fonte ressalta que esses números misturam dados sintéticos e naturais, então não isolam a contribuição do corpus.

A fonte também faz ressalvas importantes: a tradução não substitui textos escritos originalmente em línguas indianas nem garante cobertura de conhecimento local e cultural. Além disso, a avaliação é feita principalmente por automação, e a revisão humana varia entre idiomas. Para quem quiser usar o material, a recomendação é combiná-lo com textos naturais e testar a mistura de dados no uso pretendido. Não há, na fonte, orientações de proteção ou segurança a seguir, pois se trata de dados para treinamento de modelos.