Riscos de agentes mal construídos e os controles adotados pela Praxian AI

Antes da implantação, estabelecemos o que o agente pode consultar, recomendar, preparar e executar. Também definimos ações proibidas, limites operacionais e situações em que a atividade deve ser obrigatoriamente transferida para uma pessoa. Assim, a inteligência do agente pode ser ampla, mas sua autoridade permanece controlada.

Em processos relevantes, evitamos que um único componente interprete as informações, tome a decisão, execute a ação e confirme sozinho que tudo foi realizado corretamente. O agente pode analisar e recomendar; regras independentes conferem as condições; uma pessoa aprova quando necessário; um componente controlado executa; e o sistema verifica o resultado.

Limites financeiros, documentos obrigatórios, alçadas de aprovação, restrições de acesso e outras condições críticas não ficam apenas descritos nas instruções dadas ao agente. Sempre que possível, são transformados em regras sistêmicas que bloqueiam operações indevidas. Dessa forma, a segurança não depende exclusivamente da capacidade da LLM de interpretar e obedecer a uma orientação.

Cada agente recebe somente os dados, sistemas e ferramentas indispensáveis para sua função. As credenciais são específicas, as permissões são limitadas e as operações podem ser interrompidas ou revogadas quando necessário.

Os projetos podem incorporar minimização de dados, mascaramento, segregação de ambientes, controle de acesso por função, criptografia, políticas de retenção e rastreabilidade das consultas realizadas. Também avaliamos quais informações podem ser processadas por cada provedor e quando são necessárias alternativas privadas ou de maior controle.

Sempre que a atividade exigir precisão factual, o agente é orientado a consultar fontes previamente aprovadas, como documentos oficiais, bancos de dados corporativos e sistemas do cliente. Além disso, suas conclusões relevantes devem ser acompanhadas das evidências utilizadas. O sistema diferencia informação obtida de uma fonte, interpretação do agente, recomendação e ação efetivamente executada.

O agente é preparado para reconhecer situações em que não deve decidir ou agir sozinho. Nesses casos, a resposta correta não é improvisar uma solução, mas interromper o fluxo e encaminhar a situação ao responsável adequado.

A participação humana é definida conforme o impacto de cada atividade. Tarefas padronizadas, reversíveis e de baixo risco podem receber maior automação. Decisões críticas permanecem sujeitas à análise ou aprovação de profissionais responsáveis. Isso permite obter ganhos expressivos de produtividade sem transferir à IA responsabilidades que devem continuar sob controle humano.

Os agentes podem iniciar sua operação apenas observando o processo, sem interferir nele. Em seguida, suas recomendações são comparadas às decisões dos profissionais. Somente depois de demonstrar desempenho adequado, o agente passa a preparar ou executar determinadas ações. A autonomia é ampliada por tipo de caso e sempre com base em evidências. Se o desempenho se deteriorar, ela pode ser reduzida imediatamente.

Após a implantação, acompanhamos indicadores como erros identificados, intervenções humanas, exceções, violações de limites, divergências entre fontes, tentativas de acesso indevido, qualidade das recomendações e resultados efetivamente alcançados. O monitoramento permite identificar mudanças de comportamento, corrigir problemas e promover a evolução controlada do agente.

Alterações em modelos, instruções, ferramentas, fontes de informação ou regras de negócio passam por versionamento, testes e homologação proporcional ao risco. Também podem ser adotados mecanismos de contenção, suspensão da operação e reversão de mudanças, evitando que um comportamento inesperado se propague pelo processo.