Human-in-the-loop nije nadzor. To je disciplina dizajna.

Odobrenje kojeg nije bilo

U društvu Marrowfield Specialty Risk ovogodišnja je proljetna revizija trijaže šteta proizvela kratku, neugodnu razmjenu. Broker s otprilike 150 zaposlenih na tržištu pod regulatornim nadzorom već je osamnaest mjeseci vodio UI sustav za označavanje. Mariela Okafor, voditeljica operacija obrade šteta, bila je dvanaest godina na toj poziciji. Obrađivači su procesuirali više od 200 slučajeva dnevno; model je označio otprilike 8 %. Revizija je izvukla dva broja: 96 % odobrenja na slučajevima koje je UI označio i prosječno vrijeme preispitivanja od 23 sekunde. Službenik za usklađenost upitao je: „Prema kojim ste pragovima podešavali?” Odgovor je glasio: „Ni prema kojima. Jednostavno odobrim ono što mi UI pošalje.”

Marrowfield Specialty Risk složeni je primjer sastavljen iz intervjua sa srednje velikim specijaliziranim brokerima te iz literature o usklađenosti s BoE/FCA i Aktom o umjetnoj inteligenciji EU-a. Imena su anonimizirana; pokazatelji ilustriraju obrasce iz citiranih istraživanja.

Pred regulatorima na trima kontinentima ta se razmjena danas čita kao dokaz nedostatka nadzora. Datum primjene Akta o umjetnoj inteligenciji EU-a u kolovozu 2026. stavlja kalendar na ovaj propust u dizajnu, no propust je stariji od kalendara.

§1 — Pasivno odobravanje jest revizijsko kazalište, a ne nadzor

Zadani mentalni model — „UI označava, čovjek odobrava” — strukturno se ne razlikuje od nepostojanja nadzora. Sučelje s jednim gumbom, bez ulaznih podataka, bez obrazloženja modela i bez ocjene pouzdanosti, proizvodi točno one pokazatelje koje je Marrowfield iznio na vidjelo. Operativni potpis odgovara potpuno automatiziranom tijeku rada s osobom u pripravnosti.

Nadzorni podaci to potvrđuju na razini cijele populacije. Istraživanje AI in UK Financial Services 2024 BoE-a i FCA-a utvrdilo je da „55 % svih slučajeva uporabe UI-ja ima određeni stupanj automatiziranog odlučivanja, pri čemu je 24 % njih poluautonomno, tj. iako mogu samostalno donositi niz odluka, osmišljeni su tako da uključuju ljudski nadzor za kritične ili dvosmislene odluke” [9]. Implikacija, u skladu s načinom na koji NIST AI 600-1 uokviruje rizik konfiguracije čovjek-UI, jest da većina populacije automatiziranog odlučivanja nema smislenu točku intervencije.

Regulatori su se pokrenuli da zatvore taj jaz. Stav ICO-a je jasan: odluka ne izlazi iz opsega članka 22. Opće uredbe o zaštiti podataka UK-a „samo zato što ju je čovjek ‚formalno zapečatio'” [2]. Ista je smjernica oštrija po pitanju operativnog dokaza: preispitivači koji se „rutinski slažu s izlazima UI sustava i ne mogu dokazati da su ih istinski procijenili” mogu se svrstati u isključivo automatizirane prema Općoj uredbi o zaštiti podataka UK-a [3]. Akt o umjetnoj inteligenciji EU-a postavlja usporedan test u članku 14., zahtijevajući sustave „osmišljene i razvijene na takav način ... da ih fizičke osobe mogu djelotvorno nadzirati” [1]. Riječ djelotvorno nosi težinu u objema pravnim tradicijama. Pitanje dizajna više nije „je li čovjek prisutan?”, nego „je li dizajn takav da čovjek može otkriti, poništiti i prekinuti — i bi li to učinio?”

§2 — HITL je sustav pragova, a ne korak preispitivanja

Human-in-the-loop, shvaćen ozbiljno, jest sustav: izričiti pragovi pouzdanosti, tri rute odluke, sloj ponderiranja rizikom i pravilo upravljanja redom čekanja. Model vraća ocjenu pouzdanosti u rasponu 0,0–1,0 i primjenjuju se tri granice — automatsko odbijanje ispod donje granice, ljudsko preispitivanje u srednjem pojasu, automatsko odobravanje iznad gornje. Konzervativne početne točke za regulirane tijekove rada smještene su oko 0,3 / 0,95; umjerene operacije blizu 0,5 / 0,9; klasifikacija niskog rizika na 0,7 / 0,95. Granice su namjerno asimetrične: lažno pozitivni i lažno negativni rezultati nose različite troškove, a sustav pragova ugrađuje tu asimetriju umjesto da je zakopa u jedan jedini broj. NIST AI RMF 1.0 dolazi do istoga zaključka — njegova funkcija UPRAVLJANJA „podrazumijeva redovitu raspodjelu resursa za rizik na mapirane i izmjerene rizike” [5], a pragovi jesu mehanizam raspodjele, dimenzionirani prema riziku, a ne prema pogodnosti.

Sloj ponderiran rizikom nalazi se na vrhu. Pouzdanost se množi s ocjenom ozbiljnosti poslovnog rizika — veličina štete, nepovratnost odluke, regulatorna izloženost — kako bi se dobila matrica usmjeravanja 3×3. Slučaj visokog rizika i niske pouzdanosti eskalira nadređenome; visoki rizik uz visoku pouzdanost i dalje se usmjerava na standardno HITL preispitivanje, a ne na automatsko odobravanje. Izbor između dvorazinskog i trorazinskog sustava itekako je važan: dvorazinski sustav sve neizvjesne slučajeve lijevkasto usmjerava u jedan red čekanja, red se prelijeva, obrađivači posežu za skupnim odobravanjem — obrazac koji je proizveo Marrowfieldovih 96 %. Trorazinski sustav daje automatskom odbijanju produktivnu ulogu. Usmjeravanje ovisi o centraliziranoj strategiji UI-ja^EN sa sankcioniranim skupom alata koji proizvodi dosljedno ocjenjivanje pouzdanosti; stihijsko bujanje alata onemogućuje disciplinu pragova jer ocjene iz različitih modela nisu usporedive.

§3 — Rezervne putanje su osmišljene, a ne podrazumijevane

„Rezervna putanja” nije obrada pogrešaka. To je izričita grana koju sustav slijedi kad UI nije siguran, a potrebna joj je putanja, osoba i SLA. Tri dizajna pokrivaju cijelo područje.

Dizajn A — sinkroni human-in-loop: UI zastaje i vraća slučaj u red čekanja s priloženim ulaznim zapisom, obrazloženjem i pouzdanošću, uz SLA od 2 do 4 sata; prikladno za odluke u približno stvarnom vremenu. Dizajn B — asinkroni red za skupnu obradu: UI vraća privremeni odgovor, zatim ga iznosi u dnevnoj ili tjednoj seriji s retroaktivnim prozorom za poništenje; prikladno za poslove koji nisu vremenski kritični. Dizajn C — hijerarhijska eskalacija stručnjaku: usmjerava prema neizvjesnosti UI-ja uvećanoj za ozbiljnost rizika u višerazinski skup preispitivača (standardni → stručnjak → nadređeni) sa SLA-ovima od 4 h / 24 h / 72 h; prikladno za regulirano odlučivanje — referencije za preuzimanje rizika, medicinska trijaža, oznake usklađenosti.

Svaka rezervna putanja treba imenovanog vlasnika i dokumentiran SLA. AI Playbook DSIT-a UK-a postavlja to operativno — „jasno dokumentirani procesi preispitivanja i eskalacije ... te odbor za preispitivanje UI-ja ili odbor na razini programa” [4] — a NIST AI RMF UPRAVLJANJE nosi istu uputu iz drugog kuta, zahtijevajući praćenje nakon uvođenja s imenovanim povratnim kanalima. Revizijski anti-obrazac je dosljedan: sveobuhvatan red čekanja za „ljudsko preispitivanje” bez SLA-a i bez vlasnika, gdje red raste, a preporuka UI-ja postaje de facto odluka. U Marrowfieldu je redizajn dodijelio svaku rezervnu putanju: male štete ispod pojasa značajnosti obrađuju se automatski; slučajevi srednjeg pojasa idu kroz Dizajn A uz SLA od 4 sata; slučajevi visokog pojasa i oni ispod praga idu kroz Dizajn C s imenovanim preuzimateljima rizika. Redovi čekanja prestali su biti jedan prelijevni kanal i postali su tri proizvodne linije s vlastitim pokazateljima i vlasnicima.

§4 — Revizijski trag poništenja jest artefakt usklađenosti

Ono što revizori zapravo pregledavaju jest zapis o poništenju. Bez zapisa, ili sa zapisom bez strukturiranog obrazloženja, test pada prije nego što ijedna pripovjedna obrana dobije priliku za saslušanje. Najmanji artefakt po HITL odluci jest fiksna shema: case_id, pouzdanost UI-ja, preporuka UI-ja, ID preispitivača, trajanje preispitivanja u sekundama, ljudska odluka, obrazloženje poništenja, vremenska oznaka, policy_version. Bez polja policy_version trag je nečitljiv godinu dana poslije, jer će se pragovi dotad pomaknuti. Članak 14. stavak 4. Akta o umjetnoj inteligenciji EU-a zahtijeva da preispitivači mogu „intervenirati u rad ... ili prekinuti sustav” [1] — a operativni je korolar da ta sposobnost mora ostaviti zapis, inače se nije ni dogodila. NIST AI 600-1 stavlja to na razinu radnje: „Pratite i dokumentirajte slučajeve u kojima ljudski operateri ili drugi sustavi poništavaju odluke generativnog UI-ja” [6]. Zapis je središnji dokaz smislenog preispitivanja.

Odgovornost živi uzvodno od zapisa. AI Update FCA-a postavlja načelo: „jasne linije odgovornosti uspostavljene kroz cijeli životni ciklus UI-ja” [10]. Društva pod britanskim režimom SM&CR smještaju skup UI-ja i operacija pod funkciju glavnog direktora operacija; američka društva vode odbore za UI na razini uprave; društva EU-a slijede smjernice EBA-e i ECB-a o odgovornosti višeg rukovodstva. Načelo je prenosivo kroz sve tri tradicije, zbog čega je izgradnja upravljanja UI-jem od prvoga dana jeftinija od naknadne dogradnje. ISO/IEC 42001:2023 uokviruje širi skup kontrola kao „integriran pristup upravljanju UI projektima, od procjene rizika do djelotvornog postupanja s tim rizicima” [8].

Revizori traže obrnute signale. Trajanje preispitivanja ispod 10 sekundi čita se kao formalno pečaćenje. Stopa odobrenja iznad 98 % čita se kao izostanak preispitivanja. Prazno polje obrazloženja čita se kao nedokumentirana smislenost. Više od 200 odluka dnevno po preispitivaču čita se kao umor. Svako je nalaz sam za sebe.

§5 — Kako tromjesečno podešavanje održava HITL poštenim?

Pragovi se ne postave i zaborave. Modeli se pomiču, poslovna se pravila mijenjaju, pojavljuju se rubni slučajevi. Tromjesečni ciklus najjeftinija je disciplina koja osmišljen HITL sustav čuva od nazadovanja u kazalište, a nosi težinu kroz sve jurisdikcije: test „djelotvornog” nadzora iz članka 14. nije ga moguće zadovoljiti bez njega, a NIST AI RMF UPRAVLJANJE očekuje uspostavljene „planove za određivanje prioriteta rizika te redovito praćenje i poboljšavanje” [5].

Prvi mjesec — izmjerite osnovicu: opseg HITL-a po tjednu, stopa poništenja po pojasu pouzdanosti, raspodjela vremena do odluke, stopa eskalacije po razini. Drugi mjesec — utvrdite signale pomaka: pojasevi u kojima poništenje premašuje 20 % znače da je model nepouzdan i HITL pojas treba proširiti ili model treba ponovno istrenirati; pojasevi ispod 2 % mogu se sigurno suziti; slučajevi Dizajna B bez preispitivanja unutar prozora znače da je skupni proces pokvaren. Treći mjesec — prilagodite i dokumentirajte: ažurirajte definicije pragova, povećajte policy_version uz razlog promjene, obavijestite operacije, ponovno postavite osnovicu.

Ciklus pretpostavlja kulturu preispitivača koja podupire poništavanje. ICO je izričit: smisleno preispitivanje zahtijeva da „preispitivači imaju ovlast poništiti izlaz koji generira UI sustav i da su sigurni da neće biti kažnjeni zbog toga” [3]. Isto očekivanje stoji u američkoj javnoj nabavi prema NIST AI RMF-u te u pravilima odgovornosti EU-a prema EBA-i i ECB-u — različite jurisdikcije, identičan operativni test. Tamo gdje kultura kažnjava odstupanje, stope poništenja urušavaju se iz kulturnih, a ne tehničkih razloga, a podaci o kojima ciklus ovisi postaju nečitljivi. Playbook DSIT-a UK-a imenuje vlasništvo: odbor za preispitivanje UI-ja ili odbor na razini programa vlasnik je ciklusa [4]. Tipičan odgovor srednjeg tržišta na pitanje „tko je za ovo vlasnik” jest unutarnje promaknuće — vidjeti argument da je najbolji izbor za voditelja UI-ja^EN već unutar zgrade.

§6 — Kojih pet anti-obrazaca pada na reviziji prema članku 14.?

Istih se pet načina otkazivanja pojavljuje u svakoj reviziji.

Sučelje za odobri/odbij s jednim gumbom. Preispitivač vidi samo odluku. Simptom: stope odobrenja preko 95 %, preispitivanja kraća od 10 sekundi. Popravak: iznesite pouzdanost, ulazni zapis i navedene pokretače neizvjesnosti. Članak 14. stavak 4. točka (b) izričit je o pristranosti prema automatizaciji — preispitivači moraju „ostati svjesni moguće sklonosti automatskog oslanjanja ili prekomjernog oslanjanja na izlaz koji proizvodi visokorizični UI sustav” [1].

Jedan preispitivač, bez rotacije. Jedan direktor operacija preispituje svaki HITL slučaj. Simptom: zagušenja vikendom, pogreške zbog umora kasno tijekom dana, jedna točka otkazivanja. Popravak: istreniran skup od 3 do 5 preispitivača na dokumentiranom rasporedu rotacije.

Prag postavljen jednom, nikad podešen. Zadane vrijednosti dobavljača stoje nepromijenjene. Simptom: opseg HITL-a daleko od pojasa; stope poništenja sumnjivo niske ili kronično iznad 20 %. Popravak: tromjesečni ciklus iz §5.

Bez bilježenja obrazloženja poništenja. Preispitivači mogu poništiti, ali polje obrazloženja neobavezno je ili prazno. Simptom: smislenost se ne može dokazati. Popravak: strukturirano bilježenje — padajući izbornik s tri glavna razloga uz polje slobodnog teksta, oboje obvezno.

Rezervni red čekanja bez SLA-a. Slučajevi se usmjeravaju na „ljudsko preispitivanje” bez odgovornosti za razrješavanje unutar definiranog prozora. Simptom: duljina reda raste iz mjeseca u mjesec, preispitivači preskaču starije unose. Popravak: izričit SLA po rezervnoj putanji uz nadzornu ploču za praćenje reda s imenovanim vlasnikom. Raspršeno vlasništvo strukturni je rizik; istraživanje BoE/FCA bilježi da je odgovornost „često podijeljena, pri čemu većina društava prijavljuje tri ili više odgovornih osoba ili tijela” [9], a članak 14. Akta o umjetnoj inteligenciji EU-a stavlja nadzor na imenovanu „fizičku osobu” [1].

§7 — Članak 14. i kalendar do kolovoza 2026.

Okvir usklađenosti nije kazalište svojstveno pojedinoj jurisdikciji. Više regulatora konvergira na isti operativni test; Akt o umjetnoj inteligenciji EU-a veže najjavniji rok. Članak 113. postavlja datum primjene za visokorizične obveze — uključujući članak 14. — na 2. kolovoza 2026. [1]. Od toga datuma društva koja uvode UI u visokorizične opsege iz Priloga III. (zapošljavanje, kreditno bodovanje, kritična infrastruktura, podaci o izvršavanju zakona) nose tu obvezu.

Članak 22. Opće uredbe o zaštiti podataka UK-a već je obvezujući, a njegov je test „smislen ljudski doprinos” [3] — ovlast, stručnost, razmatranje ulaznih podataka i alternativa, poticajna kultura i izostanak kazne za poništenje modela. Tamo gdje se primjenjuje članak 22. — gdje god odluka ima pravni ili slično značajan učinak — „formalno pečaćenje” pada na testu [2]. Američki stav nije izostao: državni zakoni (Colorado AI Act, NYC AEDT, predloženi kalifornijski propisi o ADMT-u) i sektorska provedba (FTC o automatiziranom odlučivanju, NIST AI RMF kao referenca za javnu nabavu na saveznoj razini) guraju istu disciplinu. ISO/IEC 23894:2023 standardizira temeljni pristup upravljanju rizicima kao „smjernicu o tome kako organizacije ... mogu upravljati rizikom specifično povezanim s UI-jem” [7] — najčišće neregulatorno uporište za tržišta čiji zakoni specifični za UI još nisu stupili na snagu, te okosnica za svaku operativnu politiku u više jurisdikcija.

Sektorski regulatori pojačavaju poruku: FCA je tehnološki neutralan [10], ekvivalenti EU-a prema EBA-i i ECB-u usklađeni su oko odgovornosti višeg rukovodstva, a istraživanje BoE/FCA iz 2024. pokazuje da je odgovornost u većini ispitanih društava obično rascjepkana na tri ili više odgovornih strana [9].

Pitanja dizajna iz §§2–5 jesu pitanja usklađenosti u trima pravnim tradicijama. Izgradnja HITL-a na ovaj način plaća se jednom; naknadna dogradnja nakon neuspjeha na reviziji plaća se svako tromjesečje.

§8 — Kako izgleda četverotjedni sprint dizajna HITL-a?

Redizajn je omeđen: sprint na razini voditelja operacija, a ne program.

Tjedan 1. — Izmjerite trenutačno stanje. Popišite svaki korak „ljudskog preispitivanja”. Izvucite stope odobrenja, raspodjele trajanja preispitivanja, stanje bilježenja poništenja, duljine redova čekanja. Potpis pasivnog odobravanja: visoka stopa odobrenja, nisko trajanje preispitivanja, bez strukturiranog obrazloženja poništenja.

Tjedan 2. — Osmislite rute odluke. Postavite granice pouzdanosti po tijeku rada koristeći početne točke iz §2. Osmislite rezervne putanje prema §3. Definirajte revizijsku shemu poništenja prema §4. Dokumentirajte policy_version v1.0 s vrijednostima pragova, vlasnicima i SLA-ovima.

Tjedan 3. — Provedite, istrenirajte, prikupite podatke. Ožičite promjene sučelja — iznesite obrazloženje i pouzdanost modela na zaslon preispitivača. Istrenirajte skup preispitivača na proradenim primjerima. Pokrenite rad uživo uz potpuno revizijsko bilježenje od prvoga dana.

Tjedan 4. — Prvo preispitivanje podešavanja i dokumentacija spremna za reviziju. Pokrenite ciklus iz §5 na podacima iz 3. tjedna; očiti signali pomaka isplivaju i na kratkom prozoru. Sastavite paket artefakata: definicije pragova, nadzorna ploča stope poništenja, popis putanja eskalacije, karta vlasništva. Rezultat je pozicija za provjeru naspram 50 pitanja koja donositelji odluka postavljaju prije uvođenja UI-ja^EN, koja pokriva Q3.10, Q5.4, Q5.5 i Q5.7.

Pojas troška: 20 do 40 sati vremena voditelja operacija. Rezultat: protokol nadzora spreman za članak 14., revizijski obranjiva pozicija „smislenog preispitivanja” prema članku 22. i funkcija UPRAVLJANJA usklađena s NIST RMF-om.

Od odobravanja do discipline

Četiri tjedna nakon redizajna operativna se slika promijenila. Opseg HITL-a na tijeku rada za štete pao je za 70 % jer automatsko odbijanje obavlja stvaran posao na pojasu ispod praga. Prosječno vrijeme preispitivanja na slučajevima koji ipak dođu do HITL-a poraslo je na otprilike četiri minute — vrijeme koje strukturirano preispitivanje zaista traje. Stopa poništenja stabilizirala se na 14 %, unutar zdravog pojasa od 5 do 20 %, pri čemu svaki poništeni slučaj nosi strukturirano obrazloženje. Pitanje službenika za usklađenost sada ima odgovor s pridruženim brojevima verzija.

Razlika između revizijskog kazališta i revizijski obranjivog nadzora nije u tome koliko ozbiljno društvo govori o ljudskom preispitivanju. Ona je u tome je li preispitivanje osmišljen sustav pragova ili odobravanje s jednim klikom. Jedno prolazi na članku 14. Drugo ne prolazi.

Za uvid u to gdje dizajn HITL-a stoji kroz regulirane tijekove rada neke organizacije, easy-audit.ai mapira ga u dva sata strukturiranih pitanja.

Sažetak

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document