El «humano en el bucle» no es supervisión. Es una disciplina de diseño.

La validación que no lo era

En Marrowfield Specialty Risk, la auditoría de clasificación de siniestros de esta primavera dio lugar a un intercambio breve e incómodo. La correduría, con unos 150 empleados en un mercado supervisado por el regulador, llevaba dieciocho meses operando un sistema de IA de marcado de casos. Mariela Okafor, responsable de Operaciones de Siniestros, llevaba doce años en el puesto. Los gestores tramitaban más de 200 casos al día; el modelo marcaba alrededor del 8 %. La auditoría extrajo dos cifras: un 96 % de aprobación en los casos marcados por la IA y 23 segundos de tiempo medio de revisión. El responsable de cumplimiento preguntó: «¿Qué umbrales ajustó usted?». La respuesta: «Ninguno. Simplemente apruebo lo que la IA me envía».

Marrowfield Specialty Risk es una entidad ficticia construida a partir de entrevistas con corredurías especializadas del mercado intermedio y de la literatura de cumplimiento del BoE/FCA y del Reglamento de IA. Los nombres están anonimizados; las métricas ilustran patrones presentes en las encuestas citadas.

Ante los reguladores de tres continentes, ese intercambio se lee hoy como prueba de una supervisión inexistente. La fecha de aplicación del Reglamento de IA, en agosto de 2026, pone fecha de calendario al fallo de diseño, pero el fallo es más antiguo que el calendario.

§1 — La validación pasiva es teatro de auditoría, no supervisión

El modelo mental por defecto —«la IA marca, el humano aprueba»— es estructuralmente indistinguible de la ausencia de supervisión. Una interfaz de un solo botón, sin datos de entrada, sin razonamiento del modelo y sin puntuación de confianza, produce exactamente las métricas que afloraron en Marrowfield. La firma operativa coincide con la de un flujo de trabajo totalmente automatizado con una persona de guardia.

Los datos de supervisión lo respaldan a escala poblacional. La encuesta AI in UK Financial Services 2024 del BoE/FCA constató que «el 55 % de todos los casos de uso de IA presentan algún grado de toma de decisiones automatizada, y el 24 % de ellos son semiautónomos, es decir, aunque pueden tomar por sí mismos una variedad de decisiones, están diseñados para incorporar supervisión humana en las decisiones críticas o ambiguas» [9]. La implicación, coherente con el enfoque que da NIST AI 600-1 al riesgo de la configuración humano-IA, es que la mayor parte de la población de decisiones automatizadas carece de un punto de intervención significativo.

Los reguladores se han movido para cerrar esa brecha. La posición de la ICO es nítida: una decisión no queda fuera del artículo 22 del UK GDPR «solo porque un humano la haya validado de mero trámite» [2]. La misma guía es más tajante sobre la prueba operativa: los revisores que «coinciden de forma rutinaria con las salidas del sistema de IA y no pueden demostrar que las han valorado genuinamente» pueden clasificarse como exclusivamente automatizados con arreglo al UK GDPR [3]. El Reglamento de IA fija un criterio paralelo en el artículo 14, al exigir sistemas «diseñados y desarrollados de modo que […] puedan ser supervisados de manera efectiva por personas físicas» [1]. La palabra efectiva es la que sostiene el peso en ambas tradiciones jurídicas. La pregunta de diseño ya no es «¿hay un humano presente?», sino «¿está el diseño concebido de modo que un humano pueda detectar, anular e interrumpir, y lo haría?».

§2 — El HITL es un sistema de umbrales, no un paso de revisión

El «humano en el bucle», tomado en serio, es un sistema: umbrales de confianza explícitos, tres rutas de decisión, una capa de ponderación por riesgo y una política de cola. El modelo devuelve una puntuación de confianza en el rango de 0,0 a 1,0, y se aplican tres cortes: autorrechazo por debajo del límite inferior, revisión humana en la banda intermedia y autoaprobación por encima del límite superior. Los puntos de partida conservadores para flujos de trabajo regulados se sitúan en torno a 0,3 / 0,95; las operaciones moderadas cerca de 0,5 / 0,9; la clasificación de bajo riesgo en 0,7 / 0,95. Los cortes son deliberadamente asimétricos: los falsos positivos y los falsos negativos acarrean costes distintos, y el sistema de umbrales codifica esa asimetría en lugar de enterrarla en una sola cifra. NIST AI RMF 1.0 llega al mismo punto: su función MANAGE «implica asignar recursos de riesgo a los riesgos mapeados y medidos de forma periódica» [5], y los umbrales son el mecanismo de asignación, dimensionados según el riesgo y no según la conveniencia.

Encima se asienta una capa ponderada por riesgo. La confianza se multiplica por una puntuación de gravedad del riesgo de negocio —importe del siniestro, irreversibilidad de la decisión, exposición regulatoria— para producir una matriz de enrutamiento de 3×3. Un caso de alto riesgo y baja confianza escala al supervisor; uno de alto riesgo y alta confianza se enruta de todos modos a la revisión HITL estándar y no a la autoaprobación. La elección entre dos y tres niveles importa: un sistema de dos niveles canaliza todos los casos dudosos hacia una sola cola, la cola se desborda y los gestores recurren a la aprobación en bloque, el patrón que produjo el 96 % de Marrowfield. Un sistema de tres niveles otorga al autorrechazo un papel productivo. El enrutamiento depende de una estrategia de IA centralizada^EN con una pila de herramientas autorizada que produzca una puntuación de confianza coherente; la proliferación de herramientas ad hoc hace imposible la disciplina de umbrales, porque las puntuaciones de modelos distintos no son comparables.

§3 — Las vías de contingencia se diseñan, no se sobreentienden

«Contingencia» no es gestión de errores. Es la ramificación explícita que toma el sistema cuando la IA tiene dudas, y necesita una vía, una persona y un SLA. Tres diseños cubren el terreno.

Diseño A — humano en el bucle, síncrono: la IA se detiene y devuelve el caso a una cola con el registro de entrada, el razonamiento y la confianza adjuntos, frente a un SLA de 2 a 4 horas; idóneo para decisiones casi en tiempo real. Diseño B — cola por lotes, asíncrono: la IA devuelve una respuesta provisional y luego la presenta en un lote diario o semanal con una ventana de anulación retroactiva; idóneo para el trabajo no urgente. Diseño C — escalado a experto, jerárquico: enruta según la incertidumbre de la IA más la gravedad del riesgo hacia un grupo de revisores de varios niveles (estándar → experto → supervisor), con SLA de 4 h / 24 h / 72 h; idóneo para la toma de decisiones regulada: derivaciones de suscripción, triaje médico, alertas de cumplimiento.

Cada vía de contingencia necesita un responsable designado y un SLA documentado. El AI Playbook del DSIT del Reino Unido lo plantea en términos operativos —«procesos de revisión y escalado claramente documentados […] y un consejo de revisión de IA o un consejo a nivel de programa» [4]— y la función MANAGE del NIST AI RMF lleva la misma instrucción desde otro ángulo, al exigir una monitorización posterior al despliegue con canales de retroalimentación designados. El antipatrón de auditoría es siempre el mismo: una cola comodín de «revisión humana» sin SLA y sin responsable, donde la cola crece y la recomendación de la IA se convierte en la decisión de facto. En Marrowfield, el rediseño asignó cada vía: los siniestros pequeños por debajo de una banda de materialidad se autoprocesan; los casos de banda intermedia ejecutan el Diseño A con un SLA de 4 horas; los de banda alta y los que quedan por debajo del umbral ejecutan el Diseño C con suscriptores designados. Las colas dejaron de ser un único canal de desbordamiento y pasaron a ser tres líneas de producción con sus propias métricas y responsables.

§4 — La pista de auditoría de anulaciones es el artefacto de cumplimiento

Lo que los auditores inspeccionan en realidad es el registro de anulaciones. La ausencia de registro, o un registro sin motivación estructurada, no supera la prueba antes de que ninguna defensa narrativa llegue siquiera a ser escuchada. El artefacto mínimo por cada decisión HITL es un esquema fijo: case_id, confianza de la IA, recomendación de la IA, ID del revisor, duración de la revisión en segundos, decisión humana, motivación de la anulación, marca temporal y policy_version. Sin policy_version, la pista resulta ininterpretable un año después, porque los umbrales habrán cambiado. El artículo 14, apartado 4, del Reglamento de IA exige que los revisores puedan «intervenir en el funcionamiento […] o interrumpir el sistema» [1], y el corolario operativo es que esa capacidad debe dejar constancia o no existió. NIST AI 600-1 lo lleva al nivel de la acción: «Monitorizar y documentar los casos en que los operadores humanos u otros sistemas anulan las decisiones de la IA generativa» [6]. El registro es la prueba central de una revisión significativa.

La rendición de cuentas vive aguas arriba del registro. El AI Update de la FCA fija el principio: «líneas claras de rendición de cuentas establecidas a lo largo de todo el ciclo de vida de la IA» [10]. Las firmas británicas sujetas al SM&CR sitúan la pila de IA y operaciones bajo la dirección de operaciones; las estadounidenses operan comités de IA a nivel de consejo; las europeas siguen las directrices de la EBA y el BCE sobre la rendición de cuentas de la alta dirección. El principio es trasladable a las tres tradiciones, lo que abarata construir la gobernanza de IA desde el primer día frente a la adaptación posterior. ISO/IEC 42001:2023 encuadra el conjunto de controles más amplio como «un enfoque integrado para gestionar los proyectos de IA, desde la evaluación del riesgo hasta el tratamiento efectivo de esos riesgos» [8].

Los auditores buscan señales inversas. Una duración de revisión inferior a 10 segundos se lee como aprobación de mero trámite. Una tasa de aprobación por encima del 98 % se lee como ausencia de revisión. Un campo de motivación vacío se lee como significatividad sin documentar. Más de 200 decisiones al día por revisor se lee como fatiga. Cada una es, por sí sola, un hallazgo.

§5 — ¿Cómo mantiene honesto al HITL el ajuste trimestral?

Los umbrales no se configuran y se olvidan. Los modelos se desvían, las reglas de negocio cambian, surgen casos límite. Un ciclo trimestral es la disciplina más barata para evitar que un sistema HITL diseñado degenere en teatro, y tiene peso en todas las jurisdicciones: el criterio de supervisión «efectiva» del artículo 14 es insatisfactible sin él, y la función MANAGE del NIST AI RMF espera «planes para priorizar el riesgo y una monitorización y mejora periódicas» implantados [5].

Mes uno — medir la línea de base: volumen HITL por semana, tasa de anulación por banda de confianza, distribución del tiempo hasta la decisión, tasa de escalado por nivel. Mes dos — identificar señales de desviación: las bandas en las que la anulación supera el 20 % indican que el modelo es poco fiable y que la banda HITL debe ampliarse o el modelo debe reentrenarse; las bandas por debajo del 2 % pueden estrecharse con seguridad; los casos de Diseño B sin revisión dentro de la ventana indican que el proceso por lotes está roto. Mes tres — ajustar y documentar: actualice las definiciones de umbral, incremente policy_version con el motivo del cambio, notifique a operaciones y reinicie la línea de base.

El ciclo presupone una cultura de revisión que respalde la anulación. La ICO es explícita: la revisión significativa exige que «los revisores tengan autoridad para anular la salida generada por el sistema de IA y confíen en que no serán penalizados por hacerlo» [3]. La misma expectativa figura en la contratación pública estadounidense bajo el NIST AI RMF y en las normas de rendición de cuentas de la UE bajo la EBA y el BCE: jurisdicciones distintas, idéntico criterio operativo. Allí donde la cultura castiga la desviación, las tasas de anulación se desploman por motivos culturales y no técnicos, y los datos de los que depende el ciclo se vuelven ininterpretables. El Playbook del DSIT del Reino Unido nombra la titularidad: un consejo de revisión de IA o un consejo a nivel de programa es dueño del ciclo [4]. La respuesta habitual del mercado intermedio a «¿quién es dueño de esto?» es una promoción interna; véase el argumento a favor de que la mejor incorporación de un responsable de IA^EN está dentro de casa.

§6 — ¿Qué cinco antipatrones suspenden una auditoría del artículo 14?

Los mismos cinco modos de fallo aparecen en todas las auditorías.

Interfaz de aprobar/rechazar de un solo botón. El revisor solo ve la decisión. Síntoma: tasas de aprobación por encima del 95 %, revisiones de menos de 10 segundos. Solución: mostrar la confianza, el registro de entrada y los factores de incertidumbre declarados. El artículo 14, apartado 4, letra b), es explícito sobre el sesgo de automatización: los revisores deben «seguir siendo conscientes de la posible tendencia a confiar automáticamente o en exceso en la información de salida generada por un sistema de IA de alto riesgo» [1].

Revisor único, sin rotación. Un solo director de operaciones revisa todos los casos HITL. Síntoma: cuellos de botella en fin de semana, errores por fatiga al final de la jornada, un único punto de fallo. Solución: un grupo formado de 3 a 5 revisores con un calendario de rotación documentado.

Umbral fijado una vez y nunca ajustado. Los valores por defecto del proveedor permanecen inalterados. Síntoma: volumen HITL muy lejos de la banda; tasas de anulación sospechosamente bajas o crónicamente por encima del 20 %. Solución: el ciclo trimestral de la §5.

Sin captura de la motivación de la anulación. Los revisores pueden anular, pero el campo de motivación es opcional o queda vacío. Síntoma: la significatividad no puede demostrarse. Solución: captura estructurada —un desplegable con los tres motivos principales más un campo de texto libre, ambos obligatorios.

Cola de contingencia sin SLA. Los casos se enrutan a «revisión humana» sin que nadie responda de su resolución dentro de una ventana definida. Síntoma: longitud de cola creciente mes a mes, revisores que se saltan las entradas más antiguas. Solución: un SLA explícito por cada vía de contingencia más un panel de monitorización de colas con un responsable designado. La titularidad difusa es el riesgo estructural; la encuesta del BoE/FCA observa que la rendición de cuentas «a menudo se reparte, y la mayoría de las firmas declaran tres o más personas u órganos responsables» [9], y el artículo 14 del Reglamento de IA sitúa la supervisión en una «persona física» designada [1].

§7 — El artículo 14 y el calendario de agosto de 2026

El marco de cumplimiento no es teatro específico de una jurisdicción. Múltiples reguladores convergen en el mismo criterio operativo; el Reglamento de IA es el que lleva aparejado el plazo más público. El artículo 113 fija la fecha de aplicación de las obligaciones de alto riesgo —incluido el artículo 14— en el 2 de agosto de 2026 [1]. A partir de esa fecha, las firmas que desplieguen IA en los ámbitos de alto riesgo del anexo III (empleo, scoring crediticio, infraestructuras críticas, datos de aplicación de la ley) cargan con la obligación.

El artículo 22 del UK GDPR ya es vinculante, y su criterio es la «intervención humana significativa» [3]: autoridad, competencia, consideración de los datos de entrada y de las alternativas, una cultura que respalde y ausencia de penalización por contradecir al modelo. Allí donde se aplica el artículo 22 —siempre que una decisión produzca efectos jurídicos o de similar entidad— la validación de mero trámite suspende el criterio [2]. La posición estadounidense no está ausente: los estatutos a nivel estatal (Colorado AI Act, NYC AEDT, las normas ADMT propuestas en California) y la aplicación sectorial (la FTC sobre la toma de decisiones automatizada, el NIST AI RMF como referencia de contratación para el uso federal) empujan en la misma dirección. ISO/IEC 23894:2023 normaliza el enfoque subyacente de gestión de riesgos como «orientación sobre cómo las organizaciones […] pueden gestionar el riesgo específicamente relacionado con la IA» [7]: el anclaje no regulatorio más limpio para los mercados cuyos estatutos específicos de IA aún no han entrado en vigor, y la columna vertebral de cualquier política operativa multijurisdiccional.

Los reguladores sectoriales refuerzan el argumento: la FCA es agnóstica respecto a la tecnología [10], sus equivalentes europeos bajo la EBA y el BCE se alinean en la rendición de cuentas de la alta dirección, y la encuesta del BoE/FCA de 2024 muestra que, en la mayoría de las firmas encuestadas, la rendición de cuentas suele estar fragmentada entre tres o más partes responsables [9].

Las preguntas de diseño de las §§2-5 son las preguntas de cumplimiento en tres tradiciones jurídicas. Construir el HITL de esta manera se paga una sola vez; readaptarlo tras suspender una auditoría se paga cada trimestre.

§8 — ¿Cómo es el sprint de diseño HITL de cuatro semanas?

El rediseño está acotado: un sprint del responsable de Operaciones, no un programa.

Semana 1 — Medir el estado actual. Inventaríe cada paso de «revisión humana». Extraiga tasas de aprobación, distribuciones de la duración de la revisión, el estado de la captura de anulaciones y las longitudes de cola. Firma de la validación pasiva: alta tasa de aprobación, baja duración de revisión, sin motivación de anulación estructurada.

Semana 2 — Diseñar las rutas de decisión. Fije los cortes de confianza por flujo de trabajo usando los puntos de partida de la §2. Diseñe las vías de contingencia según la §3. Defina el esquema de auditoría de anulaciones según la §4. Documente policy_version v1.0 con los valores de umbral, los responsables y los SLA.

Semana 3 — Implementar, formar, recoger datos. Conecte los cambios de interfaz: muestre el razonamiento y la confianza del modelo en la pantalla del revisor. Forme al grupo de revisores con ejemplos resueltos. Inicie la operación en vivo con registro de auditoría completo desde el primer día.

Semana 4 — Primera revisión de ajuste y documentación lista para auditoría. Ejecute el ciclo de la §5 sobre los datos de la semana 3; las señales de desviación evidentes afloran incluso en una ventana corta. Reúna el paquete de artefactos: definiciones de umbral, panel de tasa de anulación, inventario de vías de escalado y mapa de titularidad. El resultado es la posición que contrastar con las 50 preguntas que los responsables de decisión se hacen antes de implantar IA^EN, que cubre las Q3.10, Q5.4, Q5.5 y Q5.7.

Banda de coste: de 20 a 40 horas de tiempo del responsable de Operaciones. Resultado: un protocolo de supervisión listo para el artículo 14, una posición de «revisión significativa» defendible ante el artículo 22 y una función MANAGE alineada con el NIST RMF.

De la validación a la disciplina

Cuatro semanas después del rediseño, el cuadro operativo ha cambiado. El volumen HITL del flujo de siniestros ha bajado un 70 %, porque el autorrechazo está haciendo trabajo real en la banda situada por debajo del umbral. El tiempo medio de revisión de los casos que sí llegan al HITL ha subido a unos cuatro minutos: el tiempo que realmente lleva una revisión estructurada. La tasa de anulación se ha estabilizado en el 14 %, dentro de la banda saludable del 5-20 %, y cada caso anulado lleva aparejada una motivación estructurada. La pregunta del responsable de cumplimiento tiene ahora una respuesta con números de versión adjuntos.

La diferencia entre el teatro de auditoría y una supervisión defendible en auditoría no está en lo en serio que una firma hable de la revisión humana. Está en si la revisión es un sistema de umbrales diseñado o una aprobación de un clic. Una supera el artículo 14. La otra no.

Para una lectura de dónde se sitúa el diseño HITL en los flujos de trabajo regulados de una organización, easy-audit.ai lo mapea en dos horas de preguntas estructuradas.

Resumen

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document