Gobernanza de IA: tres incidentes y el foco en riesgos más allá del token

El fundador y CEO de Epidata, Valerio Adrián Anacleto, expuso tres casos en salud, banca y desarrollo de software con impactos económicos y operativos, y sostuvo que el costo de los tokens suele ser menor frente a fallas de procesos, control de versiones y responsabilidades en proyectos de IA generativa

spot_img

La gobernanza de la inteligencia artificial se volvió un punto crítico para evitar que iniciativas de IA deriven en incidentes operativos, costos inesperados y resultados por debajo de lo previsto. Valerio Adrián Anacleto, fundador y CEO de Epidata, describió tres historias reales en las que la inversión y la gestión con IA generaron impactos económicos, legales y de seguridad.

El primer caso se ubica en una red de salud que incorporó IA con un asistente que resume la historia clínica antes de cada consulta, un bot de turnos y un sistema de facturación. El esquema funcionó hasta que una actualización del sistema de historias clínicas empezó a guardar alergias, medicaciones y cancelaciones en otro lugar. Durante tres semanas, la IA continuó leyendo el repositorio anterior. Una enfermera detectó de casualidad una alergia omitida, miles de pacientes asistieron a turnos cancelados y las obras sociales rechazaron miles de facturas. La IA costaba US$ 180.000 al año y el incidente superó los US$ 2,4 millones.

El segundo ejemplo ocurrió en un banco con dos asistentes —uno en la app y otro en WhatsApp—, cada uno con su propio manual de tasas. En junio se modificaron las tasas: se actualizó el manual de la app, pero el de WhatsApp era una copia que nadie tenía registrada. Durante dos meses, miles de personas solicitaron préstamos con una tasa que ya no existía y Defensa del Consumidor obligó al banco a respetarla.

Publicidad

Riesgos operativos y productividad

El tercer caso se centró en un CIO que prometió duplicar la productividad del equipo con IA, reemplazando programadores juniors. El código empezó a salir el doble de rápido, pero un año después el presupuesto se desvió 40% entre correcciones de errores, revisiones de código difíciles de interpretar y un incidente de seguridad causado por un agente con permisos de más.

Para Anacleto, el patrón se explica por una brecha de madurez organizacional: “Todos estos casos tienen que ver con gobernanza de IA”, dijo Valerio Adrián Anacleto, fundador y CEO de Epidata. En su análisis, esa brecha se vincula con el nivel de “incompetencia inconsciente” del modelo de Noel Burch: no saber lo que no se sabe.

En ese marco, recordó advertencias y mediciones: en 2015, un equipo de Google advirtió que construir sistemas de aprendizaje automático es rápido y barato, pero mantenerlos es difícil y caro; DORA encontró en 2025 que la IA acelera las entregas pero aumenta su inestabilidad; METR midió que desarrolladores experimentados tardaron 19% más con IA, aunque creían haber ido 20% más rápido. También citó proyecciones y datos: Gartner anticipó que al menos 30% de los proyectos de IA generativa serían abandonados después de la prueba de concepto, y el MIT reportó que solo 5% de las herramientas empresariales a medida llegan a producción.

Personas, procesos y herramientas

Anacleto planteó que el costo más visible no necesariamente es el principal: “El costo de los tokens, el que más miedo genera, suele ser el menor”, afirmó. Para ordenar el uso de IA, propuso trabajar sobre personas, procesos y herramientas: estudiar empezando por quienes deciden; cambiar procesos con inventario de sistemas, versiones de prompts, skills y modelos, y pruebas antes de cada cambio; empoderar para que se reporten fallas; nombrar responsables por cada sistema; y medir el costo total y el valor real de cada caso de uso. También señaló como puntos de partida el NIST AI Risk Management Framework y la norma ISO/IEC 42001, y sostuvo que la ejecución puede delegarse, pero no la responsabilidad.

spot_img
spot_img
spot_img
spot_img
spot_img
spot_img
spot_img
spot_img
spot_img
spot_img

CONTENIDO RELACIONADO