Human-in-the-loop is geen toezicht. Het is een ontwerpdiscipline.

De goedkeuring die er geen was

Bij Marrowfield Specialty Risk leverde de claims-triageaudit van dit voorjaar een kort, ongemakkelijk gesprek op. De makelaar, met zo'n 150 medewerkers in een door een toezichthouder gecontroleerde markt, draaide al achttien maanden een AI-systeem dat dossiers markeert. Mariela Okafor, Claims Operations Lead, zat twaalf jaar op die stoel. Behandelaars verwerkten meer dan 200 dossiers per dag; het model markeerde er ruwweg 8%. De audit haalde twee cijfers boven: 96% goedkeuring op de door AI gemarkeerde dossiers, 23 seconden gemiddelde beoordelingstijd. De compliancefunctionaris vroeg: "Op welke drempels heeft u afgestemd?" Het antwoord: "Op geen enkele. Ik keur gewoon goed wat de AI me stuurt."

Marrowfield Specialty Risk is een samengesteld voorbeeld op basis van gesprekken met gespecialiseerde makelaars in het middensegment en de complianceliteratuur van BoE/FCA en de EU AI Act. De namen zijn geanonimiseerd; de cijfers illustreren patronen uit de aangehaalde onderzoeken.

Bij toezichthouders op drie continenten leest dat gesprek nu als bewijs van ontbrekend toezicht. De toepassingsdatum van 2 augustus 2026 van de EU AI Act zet een kalender onder het ontwerpfalen, maar het falen is ouder dan de kalender.

§1 — Passieve goedkeuring is audittheater, geen toezicht

Het standaard denkmodel — "AI markeert, mens keurt goed" — is structureel niet te onderscheiden van géén toezicht. Een interface met één knop, zonder invoergegevens, zonder modelredenering, zonder betrouwbaarheidsscore, levert precies de cijfers op die Marrowfield aan het licht bracht. De operationele signatuur is die van een volledig geautomatiseerde workflow met een mens op de achtergrond.

Toezichtdata bevestigen dit op populatieschaal. Het onderzoek AI in UK Financial Services 2024 van BoE/FCA stelde vast dat "55% of all AI use cases have some degree of automated decision-making with 24% of those being semi-autonomous ie while they can make a range of decisions on their own, they are designed to involve human oversight for critical or ambiguous decisions" [9]. De implicatie, in lijn met hoe NIST AI 600-1 het risico van de mens-AI-configuratie kadert: het merendeel van de geautomatiseerde besluitvorming kent geen betekenisvol interventiepunt.

Toezichthouders zijn de kloof gaan dichten. Het standpunt van de ICO is helder: een besluit valt niet buiten Article 22 van de UK GDPR "just because a human has 'rubber-stamped' it" [2]. Diezelfde leidraad is scherper over het operationele bewijs: beoordelaars die "are routinely agreeing with the AI system's outputs, and cannot demonstrate they have genuinely assessed them" kunnen onder de UK GDPR als uitsluitend geautomatiseerd worden aangemerkt [3]. De EU AI Act legt in artikel 14 een parallelle toets aan — de bepaling over menselijk toezicht — en eist systemen die "designed and developed in such a way ... that they can be effectively overseen by natural persons" zijn [1]. Het woord effectief draagt het gewicht in beide rechtstradities. Het menselijk toezicht van artikel 14 staat daarbij los van de menselijke tussenkomst die artikel 22 van de AVG aan de betrokkene toekent bij een geautomatiseerd besluit: het eerste is een ontwerpplicht voor een AI-systeem met een hoog risico, het tweede een recht van het individu. De ontwerpvraag is niet langer "is er een mens aanwezig?" maar "is het ontwerp zo dat een mens kan opmerken, terzijdeschuiven en onderbreken — en zou die dat ook doen?"

§2 — HITL is een drempelsysteem, geen beoordelingsstap

Human-in-the-loop (HITL) — de mens in de besluitvormingslus, de menselijke tussenkomst in het proces — is, serieus genomen, een systeem: expliciete betrouwbaarheidsdrempels, drie beslisroutes, een laag van risicoweging en een wachtrijbeleid. Het model geeft een betrouwbaarheidsscore op het bereik 0,0–1,0 terug, en drie grenzen gelden — automatisch afwijzen onder de ondergrens, menselijke beoordeling in de middenband, automatisch goedkeuren boven de bovengrens. Conservatieve startpunten voor gereguleerde workflows liggen rond 0,3 / 0,95; gematigde processen rond 0,5 / 0,9; classificatie met een laag risico op 0,7 / 0,95. De grenzen zijn bewust asymmetrisch: fout-positieven en fout-negatieven brengen verschillende kosten mee, en het drempelsysteem legt die asymmetrie vast in plaats van haar in één cijfer te verbergen. NIST AI RMF 1.0 komt op hetzelfde uit — de MANAGE-functie "entails allocating risk resources to mapped and measured risks on a regular basis" [5], en drempels zíjn dat allocatiemechanisme, op maat van het risico in plaats van het gemak.

Daarboven ligt een risicogewogen laag. Betrouwbaarheid wordt vermenigvuldigd met een ernstscore voor het bedrijfsrisico — claimomvang, onomkeerbaarheid van het besluit, regulatoire blootstelling — wat een 3×3-routeringsmatrix oplevert. Een dossier met hoog risico en lage betrouwbaarheid escaleert naar een supervisor; een dossier met hoog risico en hoge betrouwbaarheid gaat nog steeds naar de standaard HITL-beoordeling in plaats van naar automatische goedkeuring. De keuze tussen twee of drie niveaus telt: een tweetrapssysteem trechtert elk onzeker dossier in één wachtrij, de rij loopt over, behandelaars vallen terug op bulkgoedkeuring — het patroon dat Marrowfields 96% opleverde. Een drietrapssysteem geeft automatisch afwijzen een productieve rol. De routering steunt op een centrale AI-strategie^EN met een gesanctioneerde stack die consistente betrouwbaarheidsscores oplevert; een wildgroei aan losse tools maakt drempeldiscipline onmogelijk, omdat scores van verschillende modellen niet vergelijkbaar zijn.

§3 — Terugvalpaden worden ontworpen, niet verondersteld

"Terugval" is geen foutafhandeling. Het is de expliciete vertakking die het systeem neemt wanneer de AI onzeker is, en die heeft een pad, een persoon en een SLA nodig. Drie ontwerpen dekken het veld.

Ontwerp A — human-in-loop synchroon: de AI pauzeert en legt het dossier terug in een wachtrij, met het invoerdossier, de redenering en de betrouwbaarheid eraan vast, tegen een SLA van 2 tot 4 uur; geschikt voor min of meer realtime beslissingen. Ontwerp B — wachtrij-voor-batch asynchroon: de AI geeft een voorlopig antwoord en brengt het vervolgens in een dagelijkse of wekelijkse batch naar voren, met een retroactief venster om terzijde te schuiven; geschikt voor niet-tijdkritisch werk. Ontwerp C — escalatie-naar-expert hiërarchisch: routeert op basis van AI-onzekerheid plus risico-ernst naar een meertrapspool van beoordelaars (standaard → expert → supervisor), met SLA's van 4u / 24u / 72u; geschikt voor gereguleerde besluitvorming — acceptatiebeoordelingen, medische triage, compliancesignalen.

Elk terugvalpad heeft een benoemde eigenaar en een gedocumenteerde SLA nodig. Het AI Playbook van UK DSIT verwoordt het operationeel — "clearly documented review and escalation processes ... and an AI review board or programme-level board" [4] — en NIST AI RMF MANAGE draagt vanuit een andere hoek dezelfde instructie aan, met monitoring na implementatie via benoemde feedbackkanalen. Het audit-antipatroon is steeds hetzelfde: een verzamel-wachtrij voor "menselijke beoordeling" zonder SLA en zonder eigenaar, waarin de rij aangroeit en de aanbeveling van de AI het feitelijke besluit wordt. Bij Marrowfield wees het herontwerp elk terugvalpad toe: kleine claims onder een materialiteitsdrempel worden automatisch verwerkt; middenbanddossiers draaien Ontwerp A op een SLA van 4 uur; dossiers in de hoge band en onder de drempel draaien Ontwerp C met benoemde acceptanten. De wachtrijen hielden op één overloopkanaal te zijn en werden drie productielijnen met hun eigen metrieken en eigenaren.

§4 — De audittrail van overrules is het compliance-artefact

Wat auditors daadwerkelijk inspecteren, is het register van overrules. Geen register, of een register zonder gestructureerde motivering, zakt voor de toets nog voordat enig verhalend verweer gehoor krijgt. Het minimale artefact per HITL-besluit is een vast schema: case_id, AI-betrouwbaarheid, AI-aanbeveling, beoordelaars-ID, beoordelingsduur in seconden, menselijk besluit, motivering van de terzijdeschuiving, tijdstempel, policy_version. Zonder policy_version is de trail een jaar later niet te duiden, omdat de drempels intussen zijn verschoven. Artikel 14, lid 4, van de AI-verordening vereist dat beoordelaars kunnen "intervene in the operation ... or interrupt the system" [1] — en het operationele uitvloeisel is dat de mogelijkheid een spoor moet nalaten, anders is ze er niet geweest. NIST AI 600-1 zet het op handelingsniveau: "Monitor and document instances where human operators or other systems override the GAI's decisions" [6]. Het register is het centrale bewijs van betekenisvolle beoordeling.

Verantwoordelijkheid ligt stroomopwaarts van het register. De AI Update van de FCA stelt het principe: "clear lines of accountability established across the AI life cycle" [10]. Britse SM&CR-firma's beleggen de AI- en operationele stack bij de Chief Operations-functie; Amerikaanse firma's draaien AI-comités op bestuursniveau; EU-firma's volgen de leidraad van EBA en ECB over verantwoordelijkheid op het niveau van de directie. Het principe is overdraagbaar over de drie tradities, wat AI-governance vanaf dag één opbouwen goedkoper maakt dan het achteraf inbouwen. ISO/IEC 42001:2023 kadert de bredere set beheersmaatregelen als "an integrated approach to managing AI projects, from risk assessment to effective treatment of these risks" [8].

Auditors letten op tegengestelde signalen. Een beoordelingsduur onder 10 seconden leest als klakkeloos goedkeuren. Een goedkeuringspercentage boven 98% leest als geen beoordeling. Een leeg motiveringsveld leest als betekenisvolheid die niet is gedocumenteerd. Meer dan 200 besluiten per dag per beoordelaar leest als vermoeidheid. Elk is op zichzelf een bevinding.

§5 — Hoe houdt kwartaalafstemming HITL eerlijk?

Drempels zijn niet eenmalig instellen en vergeten. Modellen driften, bedrijfsregels veranderen, randgevallen duiken op. Een kwartaalcyclus is de goedkoopste discipline die een ontworpen HITL-systeem ervan weerhoudt terug te zakken in theater, en ze weegt over rechtsgebieden heen: de toets van "effectief" toezicht uit artikel 14 is zonder haar onhaalbaar, en NIST AI RMF MANAGE verwacht "plans for prioritizing risk and regular monitoring and improvement" [5].

Maand één — meet de nulmeting: HITL-volume per week, overrulepercentage per betrouwbaarheidsband, verdeling van de beslistijd, escalatiegraad per niveau. Maand twee — herken driftsignalen: banden waar het overrulepercentage boven 20% uitkomt, betekenen dat het model onbetrouwbaar is en dat de HITL-band moet worden verbreed of het model opnieuw moet worden getraind; banden onder 2% kunnen veilig versmallen; Ontwerp B-dossiers zonder beoordeling binnen het venster betekenen dat het batchproces stuk is. Maand drie — pas aan en documenteer: werk de drempeldefinities bij, verhoog policy_version met de reden voor de wijziging, breng operations op de hoogte en reset de nulmeting.

De cyclus veronderstelt een beoordelaarscultuur die het terzijdeschuiven ondersteunt. De ICO is expliciet: betekenisvolle beoordeling vereist dat "reviewers have the authority to override the output generated by the AI system and they are confident that they will not be penalised for so doing" [3]. Dezelfde verwachting zit in de Amerikaanse inkoop onder NIST AI RMF en in de EU-verantwoordingsregels onder EBA en ECB — verschillende rechtsgebieden, identieke operationele toets. Waar de cultuur afwijking bestraft, storten de overrulepercentages in om culturele in plaats van technische redenen, en worden de data waarop de cyclus steunt onbruikbaar. Het AI Playbook van UK DSIT benoemt het eigenaarschap: een AI review board of een board op programmaniveau is eigenaar van de cyclus [4]. Het typische antwoord van het middensegment op "wie is hiervan eigenaar" is een interne promotie — zie het pleidooi voor de beste AI Lead-aanwerving^EN binnen de eigen muren.

§6 — Welke vijf antipatronen zakken voor een artikel 14-audit?

Dezelfde vijf faalpatronen duiken in elke audit op.

Goedkeur/afwijs-interface met één knop. De beoordelaar ziet alleen het besluit. Symptoom: goedkeuringspercentages boven 95%, beoordelingen onder 10 seconden. Oplossing: maak betrouwbaarheid, invoerdossier en de aangegeven onzekerheidsfactoren zichtbaar. Artikel 14, lid 4, punt b), is expliciet over automatiseringsbias — beoordelaars moeten "remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system" [1].

Eén beoordelaar, geen rotatie. Eén operationeel directeur beoordeelt elk HITL-dossier. Symptoom: knelpunten in het weekend, vermoeidheidsfouten laat op de dag, één enkel storingspunt. Oplossing: een getrainde pool van 3–5 beoordelaars op een gedocumenteerd rotatieschema.

Drempel eenmaal ingesteld, nooit afgestemd. Standaardwaarden van de leverancier blijven onveranderd. Symptoom: HITL-volume ver buiten de band; overrulepercentages verdacht laag of chronisch boven 20%. Oplossing: de kwartaalcyclus uit §5.

Geen vastlegging van de motivering bij terzijdeschuiven. Beoordelaars kúnnen terzijdeschuiven, maar het motiveringsveld is optioneel of leeg. Symptoom: betekenisvolheid valt niet aan te tonen. Oplossing: gestructureerde vastlegging — een keuzelijst met de drie belangrijkste redenen plus een vrij tekstveld, beide verplicht.

Terugval-wachtrij zonder SLA. Dossiers worden naar "menselijke beoordeling" gerouteerd zonder verantwoordelijkheid om binnen een afgebakend venster af te handelen. Symptoom: de wachtrij groeit maand na maand, beoordelaars slaan oudere posten over. Oplossing: een expliciete SLA per terugvalpad plus een dashboard voor wachtrijbewaking met een benoemde eigenaar. Diffuus eigenaarschap is het structurele risico; het onderzoek van BoE/FCA merkt op dat de verantwoordelijkheid "is often split with most firms reporting three or more accountable persons or bodies" [9], en artikel 14 van de AI-verordening legt het toezicht bij een benoemde "natural person" [1].

§7 — Artikel 14 en de kalender van augustus 2026

Het compliancekader is geen rechtsgebied-specifiek theater. Meerdere toezichthouders komen samen op dezelfde operationele toets; de EU AI Act hangt er de meest publieke deadline aan. Artikel 113 zet de toepassingsdatum voor de verplichtingen rond hoog risico — waaronder artikel 14 — op 2 augustus 2026 [1]. Vanaf die datum dragen firma's die AI inzetten in scopes met hoog risico onder bijlage III (werk, kredietscoring, kritieke infrastructuur, rechtshandhavingsdata) de verplichting.

Article 22 van de UK GDPR is al bindend, en de toets daar is "meaningful human input" [3] — bevoegdheid, deskundigheid, afweging van de invoergegevens en alternatieven, een ondersteunende cultuur en geen sanctie op het terzijdeschuiven van het model. Waar Article 22 van toepassing is — overal waar een besluit een rechtsgevolg of een vergelijkbaar aanzienlijk gevolg heeft — zakt "rubber-stamping" voor de toets [2]. Het Amerikaanse standpunt ontbreekt niet: wetgeving op staatsniveau (Colorado AI Act, NYC AEDT, de voorgestelde ADMT-regels van Californië) en sectorale handhaving (FTC over geautomatiseerde besluitvorming, NIST AI RMF als inkoopreferentie voor federaal gebruik) dringen aan op dezelfde discipline. ISO/IEC 23894:2023 standaardiseert de onderliggende aanpak van risicobeheer als "guidance on how organizations ... can manage risk specifically related to AI" [7] — het zuiverste niet-regulatoire ankerpunt voor markten waar de AI-specifieke wetgeving nog niet in werking is getreden, en de ruggengraat van elk multi-jurisdictioneel operationeel beleid.

Sectortoezichthouders versterken het punt: de FCA is technologieneutraal [10], de EU-equivalenten onder EBA en ECB stemmen overeen op verantwoordelijkheid op directieniveau, en het onderzoek van BoE/FCA uit 2024 laat zien dat de verantwoordelijkheid in de meeste onderzochte firma's doorgaans is verdeeld over drie of meer verantwoordelijke partijen [9].

De ontwerpvragen in §§2–5 zijn de compliancevragen in drie rechtstradities. HITL op deze manier bouwen wordt één keer betaald; het achteraf inbouwen na een mislukte audit wordt elk kwartaal betaald.

§8 — Hoe ziet de HITL-ontwerpsprint van vier weken eruit?

Het herontwerp is afgebakend: een sprint onder leiding van de Operations Lead, geen programma.

Week 1 — Meet de huidige toestand. Inventariseer elke stap voor "menselijke beoordeling". Haal goedkeuringspercentages, verdelingen van de beoordelingsduur, de staat van de motivering-vastlegging en de wachtrijlengtes op. Signatuur van passieve goedkeuring: hoog goedkeuringspercentage, lage beoordelingsduur, geen gestructureerde motivering bij terzijdeschuiven.

Week 2 — Ontwerp de beslisroutes. Stel de betrouwbaarheidsgrenzen per workflow in met de startpunten uit §2. Ontwerp de terugvalpaden volgens §3. Definieer het auditschema voor overrules volgens §4. Documenteer policy_version v1.0 met de drempelwaarden, eigenaren en SLA's.

Week 3 — Implementeer, train, verzamel data. Voer de interfacewijzigingen door — maak modelredenering en betrouwbaarheid zichtbaar op het scherm van de beoordelaar. Train de pool van beoordelaars op uitgewerkte voorbeelden. Begin de livegang met volledige auditlogging vanaf dag één.

Week 4 — Eerste afstemmingsronde en auditgerede documentatie. Draai de cyclus uit §5 tegen de data van week 3; duidelijke driftsignalen komen zelfs op een kort venster boven. Stel het artefactpakket samen: drempeldefinities, dashboard met overrulepercentages, inventaris van escalatiepaden, eigenaarschapskaart. Het resultaat is de positie om te toetsen aan 50 vragen die beslissers stellen vóór een AI-implementatie^EN, die Q3.10, Q5.4, Q5.5 en Q5.7 bestrijkt.

Kostenband: 20–40 uur tijd van de Operations Lead. Output: een toezichtprotocol dat klaar is voor artikel 14, een verdedigbare positie voor "betekenisvolle beoordeling" onder Article 22, en een MANAGE-functie die aansluit op NIST RMF.

Van goedkeuring naar discipline

Vier weken na het herontwerp is het operationele beeld verschoven. Het HITL-volume op de claims-workflow is met 70% gedaald, omdat automatisch afwijzen echt werk verzet op de band onder de drempel. De gemiddelde beoordelingstijd op dossiers die HITL wél bereiken, is gestegen tot ongeveer vier minuten — de tijd die de gestructureerde beoordeling werkelijk vergt. Het overrulepercentage is gestabiliseerd op 14%, binnen de gezonde band van 5–20%, waarbij elk terzijdegeschoven dossier een gestructureerde motivering draagt. De vraag van de compliancefunctionaris heeft nu een antwoord met versienummers eraan vast.

Het verschil tussen audittheater en auditbestendig toezicht is niet hoe serieus een firma over menselijke beoordeling praat. Het is of de beoordeling een ontworpen drempelsysteem is of een goedkeuring met één klik. Het ene haalt artikel 14. Het andere niet.

Voor een beeld van waar het HITL-ontwerp staat over de gereguleerde workflows van een organisatie, brengt easy-audit.ai het in twee uur gestructureerde vragen in kaart.

Samenvatting

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document