O uso da inteligência artificial no Poder Judiciário exige cada vez mais atenção aos riscos de manipulação dos sistemas. Entre as principais ameaças está a chamada prompt injection (injeção de comandos ocultos), técnica que consiste na inserção de instruções invisíveis ou disfarçadas em documentos de texto, imagens ou outros arquivos para influenciar o comportamento da IA durante a leitura, o resumo ou a elaboração de minutas.

Para enfrentar esse tipo de vulnerabilidade, foram estabelecidas pelo CNJ orientações técnicas voltadas à prevenção, detecção, mitigação, auditoria e resposta a ataques que possam comprometer a confiabilidade das ferramentas de inteligência artificial utilizadas no ambiente judicial.

As recomendações destacam a importância da capacitação contínua de magistrados, servidores e equipes técnicas responsáveis pela utilização, gestão e fiscalização dessas tecnologias. Também orientam que, sempre que um sistema de IA identificar conteúdo considerado adversarial ou anômalo, essa ocorrência seja registrada nos autos, preservando a autonomia do magistrado para decidir as providências cabíveis.

Outro ponto considerado essencial é a segurança no processamento dos documentos judiciais. O conteúdo extraído de petições, anexos, imagens, metadados e arquivos digitalizados deve ser tratado como informação potencialmente não confiável até que passe por mecanismos de validação. A rastreabilidade da origem e das características dos documentos também é apontada como medida importante para reduzir riscos.

As orientações ainda recomendam que o tratamento dos dados ocorra em etapas específicas antes de serem enviados aos modelos de IA, permitindo a classificação, filtragem e segregação das informações. Da mesma forma, as respostas produzidas pelos sistemas devem estar vinculadas às evidências constantes dos autos e passar por revisão humana, em nível compatível com o grau de risco da aplicação.

*Com informações da SJPA

Foto/Crédito: CNJ