Gobernanza de agentes de IA: quién autoriza cada decisión

¿Sabe qué decisiones está tomando su agente de IA en este momento, y quién las autorizó? Para la mayoría de las empresas que ya tienen agentes operando, la respuesta honesta es: nadie lo sabe con certeza. El agente decide, actúa, y el registro de por qué lo hizo vive, si vive, disperso entre logs que nadie revisa.

Mientras el agente solo sugería, eso era tolerable. El problema aparece cuando el agente ya decide y actúa dentro del proceso: aprueba, rechaza, escala o ejecuta sin que una persona revise cada caso. Ahí la pregunta deja de ser técnica y se vuelve de gobernanza.

Qué cambia cuando el agente ya decide y actúa, no solo sugiere

Un agente que redacta un borrador o recomienda una acción tiene bajo riesgo: una persona revisa antes de que algo pase. Un agente que aprueba un crédito, ejecuta un pago o cierra un ticket sin revisión ya tomó una decisión con consecuencia real, y esa decisión necesita poder explicarse después.

La diferencia no es de capacidad del modelo. Es de diseño: qué puede decidir el agente solo, qué necesita evaluación antes de ejecutarse y quién responde si algo sale mal. IBM define el gobierno de la IA como las barreras que ayudan a garantizar que las herramientas y los sistemas de IA sigan siendo seguros y responsables. Sin esas barreras definidas, cada agente que ya actúa en producción opera con más autoridad de la que alguien autorizó explícitamente.

Autonomía gradual: el agente propone antes de operar solo

La autonomía se gana, no se regala. Un agente nuevo, o un agente que entra a un tipo de caso nuevo, empieza en modo propuesta: genera la acción, un responsable humano la aprueba, y solo se ejecuta después de ese visto bueno.

Ese período de supervisión no es burocracia innecesaria: es la evidencia que permite ampliar la autonomía con criterio. Cuando el agente demuestra consistencia en un tipo de caso durante un período definido, su autonomía se amplía para ese caso específico, no para todos los casos de golpe.

Tres reglas prácticas para aplicar autonomía gradual:

1. Autonomía por tipo de caso, no por agente completo: un agente puede operar sin supervisión en casos rutinarios y seguir en modo propuesta en casos de mayor riesgo, al mismo tiempo.
2. El ascenso de autonomía se mide, no se asume: se define un número mínimo de casos revisados y un umbral de acierto antes de reducir la supervisión.
3. La autonomía se puede retirar: si el agente empieza a fallar en un tipo de caso donde ya operaba solo, la supervisión vuelve a activarse sin que eso se trate como un fracaso del proyecto.

Filtros de evaluación antes de ejecutar cualquier acción

Antes de que el agente ejecute, hay una capa que evalúa si esa acción específica cumple las condiciones para proceder sola. Esa capa revisa cosas concretas: si el monto está dentro del umbral autorizado, si el caso tiene alguna excepción conocida, si los datos de entrada son consistentes con lo esperado.

Si la acción pasa el filtro, se ejecuta. Si no pasa, se enruta a revisión humana con el contexto completo, no se bloquea sin explicación. Esta capa es la diferencia entre un agente que opera con criterio definido y uno que ejecuta todo lo que puede ejecutar porque nadie le puso un límite explícito.

Registro central: lo que no se registra queda fuera de política

Cada decisión del agente (qué evaluó, qué datos usó, qué resultado produjo y bajo qué regla) queda en un registro central, no en logs dispersos de cada integración. Ese registro es lo que permite responder, meses después, exactamente qué pasó en un caso puntual.

La regla es estricta a propósito: lo que no está en el registro central se considera fuera de política, aunque el resultado haya sido correcto. Esto obliga a que el registro sea parte del diseño del agente desde el principio, no un reporte que se agrega después de un incidente.

Para una empresa en un sector regulado (banca, seguros, salud), este registro no es un detalle técnico: es lo que sostiene una auditoría o una revisión regulatoria cuando preguntan por qué el sistema tomó una decisión específica.

Intervención humana obligatoria en los casos sensibles

Hay decisiones que, aunque el agente tenga la capacidad técnica de tomarlas, no deben quedar en sus manos sin una persona en el medio. La empresa define de antemano cuáles son esos casos: montos sobre cierto umbral, excepciones a política, datos regulados, decisiones con impacto legal o reputacional.

La intervención ahí no es un filtro más que el agente puede superar con suficiente consistencia. Es un límite fijo: ese tipo de caso siempre pasa por una persona, independientemente de cuánta autonomía haya ganado el agente en otros tipos de decisión. Diseñar ese límite antes de que el agente opere evita que la decisión de dónde intervenir una persona quede, sin que nadie lo planeara, en manos del propio agente.

Cómo evaluar si su agente de IA tiene gobernanza real

Antes de aprobar que un agente de IA siga operando con la autonomía que tiene hoy, revise estas cuatro condiciones:

1. Autonomía definida por tipo de caso: existe un criterio explícito de qué decide el agente solo y qué necesita aprobación previa, y ese criterio se revisa periódicamente.
2. Filtro de evaluación antes de ejecutar: ninguna acción sensible se ejecuta sin pasar primero por una condición verificable.
3. Registro central de decisiones: cada decisión queda documentada en un solo lugar, con los datos y la regla que la sustentan.
4. Intervención humana obligatoria en casos sensibles: esos casos están definidos de antemano y no dependen del criterio del agente.

Si alguna de las cuatro falta, el agente no está mal construido por mala fe: está operando con más autonomía de la que alguien le autorizó formalmente. Eso suele corregirse antes de que genere un incidente, no después. ISO/IEC 42001, el estándar internacional de sistemas de gestión de IA, exige exactamente esas cuatro condiciones documentadas: es una referencia útil para diseñar el modelo de gobernanza interno aunque la empresa no busque certificarse.

---

Diseñar este modelo de gobernanza parte del mismo principio que aplicamos en cualquier proyecto de automatización desde hace más de 15 años en Bprosys: primero entendemos el proceso y sus excepciones, después definimos dónde puede decidir un agente y dónde no. Así lo aplicamos en los proyectos de Hiper-Automatización que implementamos en banca, seguros, retail y logística en 7 países de LATAM.

Si ya tiene agentes de IA decidiendo dentro de sus procesos y quiere saber si tienen gobernanza real, hablemos 20 minutos sobre su caso. Revisamos su autonomía actual y le decimos con honestidad qué falta antes de que falte en producción.

Esta pregunta de gobernanza se vuelve más urgente cuanto más agentes coordina su operación a la vez: vea cómo se organiza eso en sistemas multi-agente en paralelo. Y si todavía no tiene claro si su agente está bien construido en su base técnica, antes de pensar en gobernanza revise las 3 fallas que encarecen los agentes de IA mal construidos.

Este mismo marco de gobernanza aplica incluso cuando la decisión no la toma un agente conversacional, sino un modelo de decisión tipada como Jev, de TypeSafe AI: la probabilidad calibrada que devuelve facilita el control, pero no reemplaza el marco de autorización que describimos aquí.