Riesgos de los agentes mal construidos y los controles adoptados por Praxian AI

Antes de la implementación, establecemos lo que el agente puede consultar, recomendar, preparar y ejecutar. También definimos acciones prohibidas, límites operativos y situaciones en las que la actividad debe transferirse obligatoriamente a una persona. Así, la inteligencia del agente puede ser amplia, pero su autoridad permanece controlada.

En procesos relevantes, evitamos que un único componente interprete la información, tome la decisión, ejecute la acción y confirme por sí solo que todo se realizó correctamente. El agente puede analizar y recomendar; reglas independientes verifican las condiciones; una persona aprueba cuando es necesario; un componente controlado ejecuta; y el sistema verifica el resultado.

Los límites financieros, los documentos obligatorios, los niveles de aprobación, las restricciones de acceso y otras condiciones críticas no quedan solo descritos en las instrucciones dadas al agente. Siempre que es posible, se transforman en reglas sistémicas que bloquean operaciones indebidas. De esta forma, la seguridad no depende exclusivamente de la capacidad del LLM para interpretar y obedecer una indicación.

Cada agente recibe únicamente los datos, sistemas y herramientas indispensables para su función. Las credenciales son específicas, los permisos son limitados y las operaciones pueden interrumpirse o revocarse cuando sea necesario.

Los proyectos pueden incorporar minimización de datos, enmascaramiento, segregación de entornos, control de acceso por función, cifrado, políticas de retención y trazabilidad de las consultas realizadas. También evaluamos qué información puede ser procesada por cada proveedor y cuándo se requieren alternativas privadas o de mayor control.

Siempre que la actividad exija precisión factual, el agente está orientado a consultar fuentes previamente aprobadas, como documentos oficiales, bases de datos corporativas y sistemas del cliente. Además, sus conclusiones relevantes deben ir acompañadas de las evidencias utilizadas. El sistema distingue entre información obtenida de una fuente, interpretación del agente, recomendación y acción efectivamente ejecutada.

El agente está preparado para reconocer situaciones en las que no debe decidir ni actuar por sí solo. En esos casos, la respuesta correcta no es improvisar una solución, sino interrumpir el flujo y escalar la situación al responsable adecuado.

La participación humana se define según el impacto de cada actividad. Las tareas estandarizadas, reversibles y de bajo riesgo pueden recibir mayor automatización. Las decisiones críticas siguen sujetas al análisis o la aprobación de profesionales responsables. Esto permite obtener ganancias significativas de productividad sin transferir a la IA responsabilidades que deben permanecer bajo control humano.

Los agentes pueden iniciar su operación solo observando el proceso, sin intervenir en él. Luego, sus recomendaciones se comparan con las decisiones de los profesionales. Solo después de demostrar un desempeño adecuado, el agente pasa a preparar o ejecutar determinadas acciones. La autonomía se amplía por tipo de caso y siempre con base en evidencias. Si el desempeño se deteriora, puede reducirse de inmediato.

Después de la implementación, damos seguimiento a indicadores como errores identificados, intervenciones humanas, excepciones, violaciones de límites, divergencias entre fuentes, intentos de acceso indebido, calidad de las recomendaciones y resultados efectivamente alcanzados. El monitoreo permite identificar cambios de comportamiento, corregir problemas y promover la evolución controlada del agente.

Los cambios en modelos, instrucciones, herramientas, fuentes de información o reglas de negocio pasan por control de versiones, pruebas y homologación proporcionales al riesgo. También pueden adoptarse mecanismos de contención, suspensión de la operación y reversión de cambios, evitando que un comportamiento inesperado se propague por el proceso.