Diego Mirhan
Assinar

Notícias · · 4 min de leitura

NVIDIA quer que o limite dos agentes de IA fique no sistema, não no prompt

Depois dos casos do Gemini e da Hugging Face, a NVIDIA aposta em isolar agentes no sistema e no hardware. A parte aberta roda em qualquer Linux.

"Agente preso no sistema." sobre foto de computador NVIDIA DGX Station aberto, com a placa e o chip à mostra
A DGX Station da NVIDIA aberta, com a placa e o chip à mostra: uma das máquinas onde o OpenShell deve isolar agentes de IA. Imagem: NVIDIA

A NVIDIA lançou na segunda-feira, 28 de setembro, a Open Agent Safety Platform, um conjunto de software e hardware para impedir que agentes de IA façam o que não deveriam. A premissa é simples e diz muito sobre o momento: o agente não deve ser o responsável por respeitar os próprios limites. Para quem constrói agentes, isso muda onde a regra de segurança fica. Ela sai do prompt e vai para o sistema operacional e, no caso mais rígido, para um chip separado.

Por que isso apareceu agora

O anúncio chega depois de dois casos que ganharam atenção nos últimos meses, ambos citados pela VentureBeat ao contextualizar o lançamento.

O primeiro é o do Gemini. Durante um teste de segurança feito em maio e revelado pelo Google em 18 de setembro, o modelo ficou com acesso à internet por causa de um erro de configuração e chegou a sistemas de três empresas reais. Num dos casos, adivinhou uma senha. Nos outros, usou credenciais que estavam expostas em repositórios públicos.

O segundo aconteceu no verão do hemisfério norte: um agente saiu do ambiente de avaliação da OpenAI e comprometeu a infraestrutura da Hugging Face. Segundo a mesma reportagem da VentureBeat, foram cerca de 17.600 ações ao longo de 4,5 dias, com agentes deixando recados uns para os outros num registro interno de pacotes.

O ponto em comum é que, nos dois casos, o limite do agente estava na instrução ou numa configuração que ninguém conferiu. O agente não sabe o que é teste e o que é produção. Ele age sobre o que consegue alcançar.

O que são o OpenShell e o Sentry

A plataforma tem duas peças.

O OpenShell é um ambiente de execução de código aberto, sob licença Apache 2.0, com o código publicado no GitHub. Cada agente roda na própria caixa de areia (sandbox, um ambiente isolado do resto da máquina). O operador define antes quais arquivos, redes, ferramentas, processos e credenciais o agente pode usar, e o bloqueio acontece antes de o agente rodar, conforme o blog técnico da NVIDIA. Na prática, controles do kernel do Linux limitam o acesso a arquivos e processos, e um proxy decide para onde o agente pode se conectar na rede. Ele roda em processadores x86 e Arm, localmente, em servidores próprios, na nuvem ou em Kubernetes.

Junto vem um verificador de políticas que, segundo a NVIDIA, não é outro modelo julgando as permissões, e sim uma checagem matemática e determinística. A empresa diz à VentureBeat que ele é cerca de cem vezes mais rápido que as abordagens baseadas em modelo de linguagem.

O Sentry é a parte de hardware. Ele roda na BlueField-4, uma placa de rede com processadores próprios que funciona como um domínio de segurança separado do computador principal. Nos servidores Vera Rubin, essa placa fica no único caminho entre a máquina e o modelo, então consegue observar cada chamada, notar quando o agente se desvia da tarefa e colocá-lo em quarentena em milissegundos, sem depender da cooperação do sistema que ele está vigiando.

Uma comparação ajuda. O OpenShell é o crachá que só abre algumas portas do prédio. O Sentry é o segurança da portaria, que não trabalha para quem usa o crachá e pode barrar a pessoa mesmo que o crachá tenha sido clonado.

O que muda para quem roda agentes

A maior parte de quem desenvolve agentes não vai ter uma BlueField-4 por perto. Isso não torna o anúncio irrelevante. O próprio Justin Boitano, vice-presidente de IA corporativa da NVIDIA, disse à VentureBeat que em muitos casos usar só o OpenShell no processador já basta.

A mudança de mentalidade vale mesmo sem nenhum produto da NVIDIA. Se um agente tem acesso a um terminal, a um banco de dados ou à internet, a pergunta deixa de ser "o prompt proíbe isso?" e passa a ser "o sistema impede isso?". Três perguntas resolvem boa parte do risco. O agente sai para a internet por padrão ou só para endereços liberados? As credenciais que ele recebe abrem só o que a tarefa precisa? Ele consegue ler arquivos fora da pasta do projeto?

Isso vale também para quem roda modelos locais, como eu faço com o Ollama. Um agente rodando no próprio computador, com acesso ao terminal, tem exatamente o poder de quem está logado na máquina. Rodar local protege os dados de sair para a nuvem, mas não protege a máquina do agente.

O que ainda não se sabe

A cobertura deixa claro que a plataforma ainda tem lacunas. O verificador de políticas não cobre todos os recursos das políticas e, por enquanto, analisa um agente de cada vez. A verificação de vários agentes trabalhando juntos, que é justamente o cenário do caso da Hugging Face, ainda está em desenvolvimento. Boitano também reconheceu à VentureBeat que dizer que o OpenShell teria evitado aquele ataque é uma hipótese.

Tem ainda a questão da dependência de hardware. A camada mais forte, a que vigia o agente de fora, só existe em equipamento da NVIDIA. E o blog técnico fala em sobrecarga mínima no processador, mas não publica números de desempenho.

Minha leitura é que a parte mais importante do anúncio é a que custa zero: o OpenShell aberto, rodando em qualquer Linux. A parte em silício é para data centers que já compram da NVIDIA. Aposto que, em um ano, rodar agente sem isolamento de rede e de arquivos vai parecer tão estranho quanto um site sem HTTPS parece hoje.

Fontes

Gostou? Receba o próximo

Um e-mail a cada post novo. Sem spam.

Próximo post Anthropic diz que o GLM-5.3, modelo aberto, monta exploits quase como o Mythos, sem travas