A Microsoft e a NVIDIA publicaram um documento chamado Risk Management for Open-Weight Models in Enterprise, o primeiro de uma série conjunta. A ideia é ajudar empresas que usam modelos de IA de pesos abertos, ou seja, modelos cujos parâmetros internos podem ser inspecionados, avaliados, modificados e executados dentro do próprio ambiente da empresa.

Essa liberdade tem vantagens, mas também muda a forma como a empresa precisa testar o modelo, onde colocar proteções e quem fica responsável por mantê-las ao longo do tempo. O documento deixa claro que abrir os pesos, por si só, não define o risco. O que importa é para que o modelo é usado, em qual contexto, com quais dados e com quais controles. Um modelo que ajuda um funcionário a rascunhar um texto apresenta riscos diferentes de um modelo que atende clientes diretamente.

O material se baseia em padrões consagrados, como as normas da ISO e o NIST AI Risk Management Framework. Ele traz uma taxonomia de riscos com cinco categorias: cibersegurança, proteção de dados, conteúdo, interação humano-IA e viés. Segundo os autores, essa taxonomia não é uma lista pronta de regras, e sim um ponto de partida para cada empresa adaptar aos seus sistemas e critérios.

Para transformar a teoria em prática, o documento associa riscos a avaliações que podem gerar evidências sobre cada um deles. A Microsoft cita o Microsoft Foundry como exemplo de ferramenta para avaliar qualidade, fundamentação e segurança, incluindo testes automatizados de ataque e controles de segurança de conteúdo. Ainda assim, as equipes devem confirmar a disponibilidade desses recursos para o seu modelo, inclusive quando estiverem em prévia, e combiná-los com testes próprios, monitoramento e supervisão humana.

Os autores também lembram que avaliar o modelo isoladamente não garante a segurança de um agente ou aplicação, que precisam ser analisados quanto a permissões, acesso a dados, ferramentas e controles operacionais. As proteções podem vir de mudanças no modelo, controle de acesso, filtros de entrada e saída, monitoramento ou revisão humana, e essas decisões devem ser revistas sempre que modelos ou implantações mudarem.

Para quem é de TI e trabalha com esses modelos, a recomendação é ler o documento, explorar o repositório conjunto de avaliações e acompanhar as próximas partes da série, que devem estender a abordagem para as camadas de execução e de aplicação. A fonte não traz instruções específicas de proteção além desses pontos gerais.