Human-in-the-loop ni nadzor. Je disciplina načrtovanja.

Potrditev, ki to ni bila

Pri družbi Marrowfield Specialty Risk je letošnja spomladanska revizija triaže škod sprožila kratko, neprijetno izmenjavo. Posrednik s približno 150 zaposlenimi, ki posluje na trgu pod regulatorskim nadzorom, je sistem UI za označevanje uporabljal osemnajst mesecev. Mariela Okafor, vodja likvidacije škod, je v tej vlogi že dvanajst let. Likvidatorji so obdelali več kot 200 primerov na dan; model jih je označil približno 8 %. Revizija je izpostavila dve številki: 96 % odobritev pri primerih, ki jih je označil UI, in povprečni čas pregleda 23 sekund. Pooblaščenec za skladnost je vprašal: »Katere prage ste uravnali?« Odgovor: »Nobenih. Preprosto odobrim, kar mi pošlje UI.«

Marrowfield Specialty Risk je sestavljen lik, povzet iz intervjujev s srednje velikimi specializiranimi posredniki ter iz literature o skladnosti BoE/FCA in EU Akta o umetni inteligenci. Imena so anonimizirana; mere ponazarjajo vzorce iz navedenih raziskav.

Pri regulatorjih na treh celinah se ta izmenjava zdaj bere kot dokaz odsotnosti nadzora. Datum začetka uporabe EU Akta o umetni inteligenci avgusta 2026 postavlja koledar pod to napako v zasnovi, a napaka je starejša od koledarja.

§1 — Pasivna potrditev je revizijska gledališka predstava, ne nadzor

Privzeti miselni model — »UI označi, človek odobri« — je strukturno neločljiv od odsotnosti nadzora. Vmesnik z enim gumbom brez vhodnih podatkov, brez sklepanja modela in brez ocene zaupanja proizvede natanko tiste mere, ki jih je izpostavil Marrowfield. Delovni podpis se ujema z v celoti samodejnim potekom dela, pri katerem oseba čaka v pripravljenosti.

Nadzorni podatki to potrjujejo na ravni celotne populacije. Raziskava BoE/FCA AI in UK Financial Services 2024 je ugotovila, da ima »55 % vseh primerov uporabe UI določeno stopnjo samodejnega sprejemanja odločitev, pri čemer je 24 % od teh delno samostojnih, kar pomeni, da lahko samostojno sprejemajo vrsto odločitev, vendar so zasnovani tako, da pri kritičnih ali dvoumnih odločitvah vključijo človeški nadzor« [9]. Posledica, skladna z opredelitvijo tveganja konfiguracije človek–UI iz NIST AI 600-1: večina populacije samodejnega odločanja nima smiselne točke posega.

Regulatorji so se premaknili, da bi to vrzel zaprli. Stališče urada ICO je jasno: odločitev ne pade zunaj člena 22 Splošne uredbe UK o varstvu podatkov »zgolj zato, ker jo je človek formalno potrdil« [2]. Iste smernice so glede dokazov o delovanju ostrejše: pregledovalce, ki se »rutinsko strinjajo z izhodi sistema UI in ne morejo dokazati, da so jih resnično presodili«, je mogoče po Splošni uredbi UK o varstvu podatkov uvrstiti med izključno samodejne [3]. EU Akt o umetni inteligenci postavlja vzporedni preizkus v členu 14 in zahteva sisteme, »zasnovane in razvite tako … da jih lahko fizične osebe učinkovito nadzorujejo« [1]. Beseda učinkovito nosi težo v obeh pravnih tradicijah. Vprašanje zasnove ni več »ali je človek prisoten?«, temveč »ali je zasnova taka, da človek lahko zazna, preglasi in prekine — in ali bi to storil?«

§2 — Human-in-the-loop je sistem pragov, ne korak pregleda

Human-in-the-loop, vzet resno, je sistem: izrecni pragovi zaupanja, tri odločitvene poti, sloj tehtanja tveganja in politika čakalne vrste. Model vrne oceno zaupanja na razponu 0,0–1,0, in uporabijo se tri meje — samodejna zavrnitev pod spodnjo mejo, človeški pregled v srednjem pasu, samodejna potrditev nad zgornjo. Previdna izhodišča za regulirane poteke dela so okoli 0,3 / 0,95; zmerno poslovanje blizu 0,5 / 0,9; nizkotvegano razvrščanje pri 0,7 / 0,95. Meje so namenoma asimetrične: lažno pozitivni in lažno negativni izidi nosijo različne stroške, in sistem pragov to asimetrijo zapiše, namesto da bi jo zakopal v eno samo številko. NIST AI RMF 1.0 pristane na istem mestu — njegova funkcija MANAGE »vključuje redno dodeljevanje virov za obvladovanje tveganj preslikanim in izmerjenim tveganjem« [5], in pragovi so mehanizem dodeljevanja, odmerjeni glede na tveganje in ne glede na priročnost.

Na vrhu sedi sloj, ki tehta tveganje. Zaupanje se pomnoži z oceno resnosti poslovnega tveganja — velikost škode, nepovratnost odločitve, regulatorna izpostavljenost — in tako nastane usmerjevalna matrika 3×3. Visokotvegani primer z nizkim zaupanjem se stopnjuje k nadrejenemu; visokotvegani primer z visokim zaupanjem se še vedno usmeri na standardni pregled human-in-the-loop in ne na samodejno potrditev. Izbira med dvema in tremi stopnjami je pomembna: dvostopenjski sistem usmeri vsak negotov primer v eno vrsto, vrsta se prepolni, likvidatorji preidejo na množično odobravanje — vzorec, ki je proizvedel 96-odstotno stopnjo pri Marrowfieldu. Trostopenjski sistem da samodejni zavrnitvi produktivno vlogo. Usmerjanje je odvisno od centralizirane strategije UI^EN s potrjenim naborom orodij, ki proizvaja dosledno ocenjevanje zaupanja; nenadzorovano kopičenje orodij onemogoča disciplino pragov, ker ocene iz različnih modelov niso primerljive.

§3 — Rezervne poti so načrtovane, ne predpostavljene

»Rezervna pot« ni obravnavanje napak. Je izrecna veja, ki jo sistem ubere, ko je UI negotov, in potrebuje pot, osebo, SLA. Tri zasnove pokrivajo področje.

Zasnova A — human-in-loop sinhrono: UI se zaustavi in primer vrne v vrsto z vhodnim zapisom, sklepanjem in zaupanjem v prilogi, ob SLA 2 do 4 ure; pravo za skoraj sprotne odločitve. Zasnova B — vrsta za paketno obdelavo asinhrono: UI vrne začasen odgovor, ki ga nato izpostavi v dnevnem ali tedenskem paketu z naknadnim oknom za preglasitev; pravo za delo, ki ni časovno kritično. Zasnova C — stopnjevanje k strokovnjaku hierarhično: usmerja glede na negotovost UI in resnost tveganja v večstopenjski nabor pregledovalcev (standardni → strokovni → nadrejeni) s SLA 4 h / 24 h / 72 h; pravo za regulirano odločanje — napotitve v sklenitev zavarovanja, medicinska triaža, opozorila glede skladnosti.

Vsaka rezervna pot potrebuje poimenovanega lastnika in dokumentiran SLA. UK DSIT AI Playbook to ubesedi operativno — »jasno dokumentirani postopki pregleda in stopnjevanja … ter pregledni odbor za UI ali odbor na ravni programa« [4] — in NIST AI RMF MANAGE nosi enako navodilo z drugega zornega kota, saj zahteva spremljanje po uvedbi s poimenovanimi kanali za povratne informacije. Revizijski protivzorec je dosleden: zbirna vrsta »človeškega pregleda« brez SLA in brez lastnika, kjer vrsta raste, priporočilo UI pa postane dejanska odločitev. Pri Marrowfieldu je preoblikovanje dodelilo vsako rezervno pot: majhne škode pod pragom pomembnosti se obdelajo samodejno; primeri v srednjem pasu tečejo po zasnovi A s SLA 4 ure; primeri v visokem pasu in pod pragom tečejo po zasnovi C s poimenovanimi sklenitelji zavarovanj. Vrste niso bile več en preliven kanal, temveč so postale tri proizvodne linije z lastnimi merami in lastniki.

§4 — Revizijska sled preglasitev je artefakt skladnosti

Kar revizorji dejansko pregledujejo, je dnevnik preglasitev. Brez dnevnika — ali z dnevnikom brez strukturiranega razloga — pade na preizkusu, še preden dobi besedo kakršen koli pripovedni zagovor. Najmanjši artefakt na odločitev human-in-the-loop je nespremenljiva shema: case_id, zaupanje UI, priporočilo UI, ID pregledovalca, trajanje pregleda v sekundah, človeška odločitev, razlog preglasitve, časovni žig, policy_version. Brez policy_version sled čez leto dni ni razložljiva, ker se bodo pragovi premaknili. Člen 14(4) EU Akta o umetni inteligenci zahteva, da lahko pregledovalci »posežejo v delovanje … ali sistem prekinejo« [1] — operativna posledica pa je, da mora ta zmožnost pustiti zapis, sicer se ni zgodila. NIST AI 600-1 to postavi na raven dejanja: »Spremljajte in dokumentirajte primere, ko človeški upravljavci ali drugi sistemi preglasijo odločitve generativnega UI« [6]. Dnevnik je osrednji dokaz smiselnega pregleda.

Odgovornost živi nad dnevnikom. AI Update urada FCA postavlja načelo: »jasne linije odgovornosti, vzpostavljene skozi celoten življenjski cikel UI« [10]. Družbe v sistemu UK SM&CR umestijo nabor za UI in poslovanje k funkciji glavnega operativnega direktorja; ameriške družbe vodijo odbore za UI na ravni uprave; družbe v EU sledijo smernicam EBA in ECB o odgovornosti višjega vodstva. Načelo je prenosljivo med vsemi tremi tradicijami, zaradi česar je gradnja upravljanja UI od prvega dne cenejša od naknadne vgradnje. ISO/IEC 42001:2023 širši nabor kontrol uokviri kot »celovit pristop k vodenju projektov UI, od ocene tveganja do učinkovitega obravnavanja teh tveganj« [8].

Revizorji iščejo nasprotne signale. Trajanje pregleda pod 10 sekund se bere kot formalno odobravanje. Stopnja odobritev nad 98 % se bere kot odsotnost pregleda. Prazno polje razloga se bere kot nedokumentirana smiselnost. Več kot 200 odločitev na dan na pregledovalca se bere kot utrujenost. Vsak je sam po sebi ugotovitev.

§5 — Kako četrtletno uravnavanje ohranja human-in-the-loop pošten?

Pragovi niso nastavi-in-pozabi. Modeli zdrsnejo, poslovna pravila se spremenijo, pojavijo se robni primeri. Četrtletni cikel je najcenejša disciplina, ki načrtovan sistem human-in-the-loop obvaruje pred zdrsom nazaj v gledališče, in nosi težo med jurisdikcijami: preizkus »učinkovitega« nadzora iz člena 14 brez njega ni izpolnljiv, NIST AI RMF MANAGE pa pričakuje vzpostavljene »načrte za prednostno razvrščanje tveganja ter redno spremljanje in izboljševanje« [5].

Prvi mesec — izmerite izhodišče: obseg human-in-the-loop na teden, stopnja preglasitev po pasu zaupanja, porazdelitev časa do odločitve, stopnja stopnjevanja po stopnjah. Drugi mesec — prepoznajte signale zdrsa: pasovi, kjer preglasitev presega 20 %, pomenijo, da je model nezanesljiv in mora pas human-in-the-loop razširiti ali model znova naučiti; pasovi pod 2 % se lahko varno zožijo; primeri zasnove B brez pregleda znotraj okna pomenijo, da je paketni postopek pokvarjen. Tretji mesec — prilagodite in dokumentirajte: posodobite opredelitve pragov, povečajte policy_version z razlogom za spremembo, obvestite poslovanje, ponastavite izhodišče.

Cikel predpostavlja kulturo pregledovalcev, ki podpira preglasitev. Urad ICO je izrecen: smiseln pregled zahteva, da »so pregledovalci pristojni za preglasitev izhoda, ki ga ustvari sistem UI, in so prepričani, da zaradi tega ne bodo kaznovani« [3]. Enako pričakovanje stoji v ameriškem javnem naročanju po NIST AI RMF in v pravilih EU o odgovornosti po EBA in ECB — različne jurisdikcije, enak operativni preizkus. Kjer kultura kaznuje odstopanje, se stopnje preglasitev sesujejo iz kulturnih in ne tehničnih razlogov, podatki, na katere se cikel opira, pa postanejo nerazložljivi. UK DSIT Playbook poimenuje lastništvo: cikel ima v lasti pregledni odbor za UI ali odbor na ravni programa [4]. Tipičen odgovor srednjega trga na vprašanje »kdo je za to odgovoren« je notranja napredovanje — glej argument, da je najboljši kandidat za vodjo UI^EN znotraj hiše.

§6 — Katerih pet protivzorcev pade na reviziji po členu 14?

Istih pet načinov odpovedi se pokaže na vsaki reviziji.

Vmesnik z enim gumbom za potrditev/zavrnitev. Pregledovalec vidi samo odločitev. Simptom: stopnje odobritev nad 95 odstotkov, pregledi pod 10 sekundami. Popravek: pokažite zaupanje, vhodni zapis in navedene dejavnike negotovosti. Člen 14(4)(b) je izrecen glede pristranosti zaradi avtomatizacije — pregledovalci morajo »ostati pozorni na možno nagnjenost k samodejnemu zanašanju ali pretiranemu zanašanju na izhod, ki ga proizvede visokotvegani sistem UI« [1].

En sam pregledovalec, brez menjavanja. En operativni direktor pregleda vsak primer human-in-the-loop. Simptom: ozka grla ob koncih tedna, napake zaradi utrujenosti pozno čez dan, ena sama točka odpovedi. Popravek: usposobljen nabor 3–5 pregledovalcev po dokumentiranem razporedu menjavanja.

Prag nastavljen enkrat, nikoli uravnan. Privzete vrednosti dobavitelja ostanejo nespremenjene. Simptom: obseg human-in-the-loop daleč od pasu; stopnje preglasitev sumljivo nizke ali kronično nad 20 %. Popravek: četrtletni cikel iz §5.

Brez zajema razloga preglasitve. Pregledovalci lahko preglasijo, a je polje razloga neobvezno ali prazno. Simptom: smiselnosti ni mogoče dokazati. Popravek: strukturiran zajem — spustni seznam treh najpogostejših razlogov ter polje za prosto besedilo, oboje obvezno.

Rezervna vrsta brez SLA. Primeri se usmerijo v »človeški pregled« brez odgovornosti za počistitev znotraj določenega okna. Simptom: dolžina vrste raste iz meseca v mesec, pregledovalci preskakujejo starejše vnose. Popravek: izrecen SLA na rezervno pot ter nadzorna plošča za spremljanje vrste s poimenovanim lastnikom. Razpršeno lastništvo je strukturno tveganje; raziskava BoE/FCA ugotavlja, da je odgovornost »pogosto razdeljena, saj večina družb poroča o treh ali več odgovornih osebah ali telesih« [9], EU Akt o umetni inteligenci pa nadzor naloži poimenovani »fizični osebi« [1].

§7 — Člen 14 in koledar avgusta 2026

Okvir skladnosti ni gledališka predstava, vezana na eno jurisdikcijo. Več regulatorjev se zbliža okoli istega operativnega preizkusa; EU Akt o umetni inteligenci pripenja najbolj javni rok. Člen 113 postavlja datum začetka uporabe obveznosti za visoko tveganje — vključno s členom 14 — na 2. avgust 2026 [1]. Od tega datuma nosijo obveznost družbe, ki uvajajo UI v visokotvegane obsege iz Priloge III (zaposlovanje, ocenjevanje kreditne sposobnosti, kritična infrastruktura, podatki za pregon).

Člen 22 Splošne uredbe UK o varstvu podatkov je že zavezujoč, njegov preizkus pa je »smiseln človeški prispevek« [3] — pristojnost, usposobljenost, upoštevanje vhodnih podatkov in alternativ, podporna kultura in nobene kazni za preglasitev modela. Kjer se uporablja člen 22 — kadar koli ima odločitev pravni ali podobno pomemben učinek — »formalno odobravanje« pade na preizkusu [2]. Ameriško stališče ni odsotno: predpisi na ravni zveznih držav (Colorado AI Act, NYC AEDT, kalifornijski predlagani predpisi ADMT) in sektorsko izvrševanje (FTC glede samodejnega odločanja, NIST AI RMF kot naročniško sklicevanje za zvezno rabo) ženejo isto disciplino. ISO/IEC 23894:2023 standardizira temeljni pristop k obvladovanju tveganja kot »smernice, kako lahko organizacije … obvladujejo tveganje, povezano posebej z UI« [7] — najčistejše neregulatorno sidro za trge, katerih predpisi, specifični za UI, še niso začeli veljati, in hrbtenica za vsako večjurisdikcijsko operativno politiko.

Sektorski regulatorji to poudarjajo: FCA je tehnološko nevtralen [10], ustrezniki v EU po EBA in ECB se usklajujejo glede odgovornosti višjega vodstva, raziskava BoE/FCA iz leta 2024 pa kaže, da je odgovornost v večini anketiranih družb običajno razdrobljena med tri ali več odgovornih strani [9].

Vprašanja zasnove iz §§2–5 so vprašanja skladnosti v vseh treh pravnih tradicijah. Gradnja human-in-the-loop na ta način se plača enkrat; naknadna vgradnja po reviziji, ki je padla, se plača vsako četrtletje.

§8 — Kako izgleda štiritedenski načrtovalni šprint za human-in-the-loop?

Preoblikovanje je omejeno: šprint vodje likvidacije, ne program.

1. teden — izmerite trenutno stanje. Popišite vsak korak »človeškega pregleda«. Izvlecite stopnje odobritev, porazdelitve trajanja pregleda, stanje zajema preglasitev, dolžine vrst. Podpis pasivne potrditve: visoka stopnja odobritev, nizko trajanje pregleda, brez strukturiranega razloga preglasitve.

2. teden — načrtujte odločitvene poti. Nastavite meje zaupanja na potek dela z izhodišči iz §2. Načrtujte rezervne poti po §3. Opredelite revizijsko shemo preglasitev po §4. Dokumentirajte policy_version v1.0 z vrednostmi pragov, lastniki in SLA.

3. teden — uvedite, usposobite, zbirajte podatke. Napeljite spremembe vmesnika — na zaslonu pregledovalca pokažite sklepanje modela in zaupanje. Usposobite nabor pregledovalcev na predelanih primerih. Začnite delovanje v živo s popolnim revizijskim beleženjem od prvega dne.

4. teden — prvi pregled uravnavanja in dokumentacija, pripravljena na revizijo. Poženite cikel iz §5 nad podatki tretjega tedna; očitni signali zdrsa se pokažejo tudi na kratkem oknu. Sestavite paket artefaktov: opredelitve pragov, nadzorno ploščo stopnje preglasitev, popis poti stopnjevanja, zemljevid lastništva. Rezultat je položaj, ki ga lahko preizkusite ob 50 vprašanjih, ki si jih odločevalci zastavijo pred uvedbo UI^EN in pokrivajo Q3.10, Q5.4, Q5.5 in Q5.7.

Stroškovni pas: 20–40 ur časa vodje likvidacije. Rezultat: protokol nadzora, pripravljen na člen 14, obrambljiv položaj »smiselnega pregleda« po členu 22 in funkcija MANAGE, usklajena z NIST RMF.

Od potrditve k disciplini

Štiri tedne po preoblikovanju se je delovna slika premaknila. Obseg human-in-the-loop pri poteku dela s škodami je padel za 70 %, ker samodejna zavrnitev opravlja resnično delo v pasu pod pragom. Povprečni čas pregleda pri primerih, ki dejansko pridejo do human-in-the-loop, se je dvignil na približno štiri minute — toliko, kolikor strukturiran pregled dejansko traja. Stopnja preglasitev se je ustalila pri 14 %, znotraj zdravega pasu med 5 in 20 %, pri čemer vsak preglasen primer nosi strukturiran razlog. Vprašanje pooblaščenca za skladnost ima zdaj odgovor s priloženimi številkami različic.

Razlika med revizijsko gledališko predstavo in revizijsko obrambljivim nadzorom ni v tem, kako resno družba govori o človeškem pregledu. Je v tem, ali je pregled načrtovan sistem pragov ali potrditev z enim klikom. Eno prestane člen 14. Drugo ne.

Za vpogled v to, kje sedi zasnova human-in-the-loop v reguliranih potekih dela vaše organizacije, easy-audit.ai to preslika v dveh urah strukturiranih vprašanj.

Povzetek

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document