STJ vai investigar tentativas de uso de "prompt injection"
Por: Beatriz Olivon
Fone: Valor Econômico
O Superior Tribunal de Justiça (STJ) identificou em seu acervo processos com
prompt injection —injeção de comando oculto para tentar manipular
inteligência artificial. A Corte definiu a instauração de inquérito policial e
procedimento administrativo para apuração dos fatos e oitiva dos advogados
e escritórios envolvidos, com vista à eventual responsabilização nos âmbitos
criminal e correicional.
A questão ganhou notoriedade recentemente, com um caso na 3ª Vara do
Trabalho de Parauapebas (PA). Houve a tentativa de manipular a ferramenta
criada pelo Tribunal Regional do Trabalho do Rio Grande do Sul (TRT-RS),
batizada de Galileu, usada na esfera trabalhista para automatizar a leitura das
principais peças processuais.
Foi determinado pela presidência do STJ que as tentativas de uso desse
mecanismo, embora neutralizadas pelo sistema, passem a ser certificadas nos
autos para permitir a aplicação, por ministros e ministras da Corte, de sanções
processuais aos envolvidos.
Em nota, o presidente do STJ, ministro Herman Benjamin, afirma que o tribunal
vai apurar as tentativas de fraude processual. De acordo com o ministro, o STJ
Logos (sistema de IA generativa elaborado pela Corte) já foi desenvolvido com
comandos específicos para impedir esse tipo de manipulação. “Estamos
mapeando todas as tentativas de prompt injection para permitir a aplicação de
sanções processuais e a devida apuração de responsabilidade administrativa e
criminal dos envolvidos", diz em nota.
A Corte reforça que, no caso do STJ Logos, mesmo que o sistema receba petições
com as injeções de comando ocultas, camadas de segurança e integridade
impedem que essas ordens maliciosas sejam executadas.
Para mitigar vulnerabilidades como a da injeção de comandos, o STJ Logos adota
uma estratégia de defesa estruturada em três níveis complementares: a
segregação estrita entre instruções e dados; delimitação de escopo contextual,
de modo a impedir que eventuais diretrizes externas sobreponham suas regras
centrais e a aplicação de um filtro de conformidade para a revisão da saída
gerada, para garantir que o resultado sugerido esteja alinhado às políticas de
segurança.