„Human-in-the-loop“ – tai ne priežiūra. Tai projektavimo disciplina.

Patvirtinimas, kurio nebuvo

„Marrowfield Specialty Risk“ šį pavasarį atliktas žalų triažo auditas baigėsi trumpu, nejaukiu pokalbiu. Brokeris, turintis apie 150 darbuotojų reguliuotojo prižiūrimoje rinkoje, aštuoniolika mėnesių naudojo DI žymėjimo sistemą. Mariela Okafor, žalų operacijų vadovė, šias pareigas ėjo dvyliktus metus. Žalų specialistai apdorodavo daugiau nei 200 atvejų per dieną; modelis pažymėdavo apie 8 %. Auditas išryškino du skaičius: 96 % patvirtinimų DI pažymėtuose atvejuose ir 23 sekundžių vidutinis peržiūros laikas. Atitikties pareigūnas paklausė: „Pagal kokius slenksčius derinote?“ Atsakymas: „Pagal jokius. Aš tiesiog patvirtinu tai, ką DI man atsiunčia.“

„Marrowfield Specialty Risk“ yra apibendrintas atvejis, sudarytas iš interviu su vidutinės rinkos specializuotais brokeriais ir BoE/FCA bei EU AI Act atitikties literatūros. Vardai anonimizuoti; rodikliai iliustruoja cituojamose apklausose pastebėtas tendencijas.

Trijuose žemynuose reguliuotojų akimis tas pokalbis dabar skamba kaip trūkstamos priežiūros įrodymas. 2026 m. rugpjūčio EU AI Act taikymo data uždeda kalendorių ant projektavimo klaidos, tačiau pati klaida senesnė už kalendorių.

§1 — Pasyvus patvirtinimas yra audito teatras, ne priežiūra

Numatytasis mąstymo modelis – „DI pažymi, žmogus patvirtina“ – struktūriškai nesiskiria nuo jokios priežiūros. Vieno mygtuko sąsaja be įvesties duomenų, be modelio argumentacijos, be patikimumo balo pagimdo lygiai tuos rodiklius, kuriuos išryškino „Marrowfield“. Veiklos parašas sutampa su visiškai automatizuota darbo eiga, prie kurios budi žmogus.

Tai patvirtina ir priežiūros duomenys visos populiacijos mastu. BoE/FCA apklausa AI in UK Financial Services 2024 nustatė, kad „55 % visų DI naudojimo atvejų turi tam tikrą automatizuoto sprendimų priėmimo laipsnį, o 24 % iš jų yra pusiau autonominiai, t. y. nors patys gali priimti įvairius sprendimus, jie suprojektuoti taip, kad svarbiems ar dviprasmiškiems sprendimams būtų pasitelkiama žmogaus atliekama priežiūra“ [9]. Iš to plaukia – tai dera su NIST AI 600-1 žmogaus ir DI sąveikos rizikos traktuote – kad didžioji automatizuoto sprendimų priėmimo populiacijos dalis neturi prasmingo įsikišimo taško.

Reguliuotojai ėmėsi šią spragą užverti. ICO pozicija aiški: sprendimas nelieka už JK BDAR 22 straipsnio ribų „vien todėl, kad žmogus jį „antspaudavo““ [2]. Tos pačios gairės dar griežtesnės dėl veiklos įrodymų: peržiūrėtojai, kurie „nuolat sutinka su DI sistemos rezultatais ir negali įrodyti, kad juos iš tikrųjų įvertino“, pagal JK BDAR gali būti priskirti vien automatizuotam sprendimų priėmimui [3]. EU AI Act 14 straipsnyje nustato lygiagretų reikalavimą, kad sistemos būtų „suprojektuotos ir sukurtos taip ... kad fiziniai asmenys galėtų jas veiksmingai prižiūrėti“ [1]. Žodis veiksmingai turi lemiamą svorį abiejose teisinėse tradicijose. Projektavimo klausimas nebėra „ar žmogus dalyvauja?“, o „ar projektas toks, kad žmogus gali aptikti, nepaisyti ir nutraukti – ir ar jis tai padarytų?“

§2 — „Human-in-the-loop“ yra slenksčių sistema, ne peržiūros žingsnis

„Human-in-the-loop“, traktuojama rimtai, yra sistema: aiškūs patikimumo slenksčiai, trys sprendimo keliai, rizikos vertinimo sluoksnis ir eilės politika. Modelis grąžina patikimumo balą diapazone 0,0–1,0, ir taikomos trys ribos – automatinis atmetimas žemiau apatinės ribos, žmogaus peržiūra vidurinėje juostoje, automatinis patvirtinimas virš viršutinės. Konservatyvūs pradiniai taškai reguliuojamoms darbo eigoms yra apie 0,3 / 0,95; vidutinėms operacijoms – apie 0,5 / 0,9; mažos rizikos klasifikavimui – 0,7 / 0,95. Ribos sąmoningai asimetriškos: klaidingai teigiami ir klaidingai neigiami rezultatai kainuoja skirtingai, ir slenksčių sistema šią asimetriją užkoduoja, o ne paslepia ją po vienu skaičiumi. NIST AI RMF 1.0 prieina prie to paties – jos funkcija MANAGE „apima reguliarų rizikos išteklių paskirstymą atvaizduotoms ir išmatuotoms rizikoms“ [5], o slenksčiai ir yra tas paskirstymo mechanizmas, pritaikytas pagal riziką, o ne pagal patogumą.

Viršuje sėda rizika pagrįstas sluoksnis. Patikimumas dauginamas iš verslo rizikos sunkumo balo – žalos dydžio, sprendimo negrįžtamumo, reguliacinės rizikos – ir taip gaunama 3×3 nukreipimo matrica. Didelės rizikos, mažo patikimumo atvejis perduodamas vadovui; didelės rizikos, didelio patikimumo atvejis vis tiek nukreipiamas į standartinę peržiūrą, o ne į automatinį patvirtinimą. Pasirinkimas tarp 2 ir 3 pakopų sistemos turi reikšmės: 2 pakopų sistema visus neaiškius atvejus suvaro į vieną eilę, eilė perpildoma, žalų specialistai pereina prie masinio tvirtinimo – būtent toks modelis pagimdė „Marrowfield“ 96 % rodiklį. 3 pakopų sistema automatiniam atmetimui suteikia produktyvų vaidmenį. Nukreipimas remiasi centralizuota DI strategija^EN su patvirtinta priemonių sistema, generuojančia nuoseklų patikimumo vertinimą; chaotiškas priemonių daugėjimas slenksčių discipliną paverčia neįmanoma, nes skirtingų modelių balai nėra palyginami.

§3 — Atsarginiai keliai yra suprojektuoti, ne numanomi

„Atsarginis kelias“ nėra klaidų tvarkymas. Tai aiški šaka, kurią sistema pasirenka, kai DI neužtikrintas, ir jai reikia kelio, žmogaus, SLA. Lauką padengia trys konstrukcijos.

A konstrukcija – sinchroninis „human-in-the-loop“: DI sustoja ir grąžina atvejį į eilę su prisegtu įvesties įrašu, argumentacija ir patikimumu, laikantis 2–4 valandų SLA; tinka beveik realaus laiko sprendimams. B konstrukcija – asinchroninis paketinis eiliavimas: DI grąžina preliminarų atsakymą, o paskui pateikia jį dieniniame ar savaitiniame pakete su atgaline nepaisymo galimybe; tinka neskubiam darbui. C konstrukcija – hierarchinis perdavimas ekspertui: nukreipia pagal DI neužtikrintumą ir rizikos sunkumą į daugiapakopį peržiūrėtojų telkinį (standartinis → ekspertas → vadovas) su 4 val. / 24 val. / 72 val. SLA; tinka reguliuojamam sprendimų priėmimui – draudimo vertinimo perdavimui, medicininiam triažui, atitikties žymoms.

Kiekvienam atsarginiam keliui reikia įvardyto savininko ir dokumentuoto SLA. JK DSIT AI Playbook tai pateikia operatyviai – „aiškiai dokumentuoti peržiūros ir perdavimo procesai ... ir DI peržiūros taryba arba programos lygmens taryba“ [4] – o NIST AI RMF MANAGE perteikia tą patį nurodymą kitu kampu, reikalaudama po įdiegimo vykdomos stebėsenos su įvardytais grįžtamojo ryšio kanalais. Audito antimodelis yra nuoseklus: bendra „žmogaus peržiūros“ eilė be SLA ir be savininko, kurioje eilė auga, o DI rekomendacija tampa faktiniu sprendimu. „Marrowfield“ pertvarka kiekvienam atsarginiam keliui priskyrė vaidmenį: smulkios žalos žemiau reikšmingumo juostos apdorojamos automatiškai; vidutinės juostos atvejai vykdomi pagal A konstrukciją su 4 valandų SLA; aukštos juostos ir žemiau slenksčio esantys atvejai vykdomi pagal C konstrukciją su įvardytais draudimo vertintojais. Eilės nustojo būti vienu perpildymo kanalu ir tapo trimis gamybos linijomis su savais rodikliais ir savininkais.

§4 — Nepaisymo audito seka yra atitikties artefaktas

Tai, ką auditoriai iš tikrųjų tikrina, yra nepaisymo žurnalas. Žurnalo nebuvimas arba žurnalas be struktūrizuotos argumentacijos neatitinka reikalavimo dar prieš išklausant bet kokią pasakojamąją gynybą. Minimalus artefaktas kiekvienam sprendimui yra fiksuota schema: case_id, DI patikimumas, DI rekomendacija, peržiūrėtojo ID, peržiūros trukmė sekundėmis, žmogaus sprendimas, nepaisymo argumentacija, laiko žyma, policy_version. Be policy_version seka po metų neinterpretuojama, nes slenksčiai bus pasislinkę. EU AI Act 14 straipsnio 4 dalis reikalauja, kad peržiūrėtojai galėtų „įsikišti į veikimą ... arba nutraukti sistemą“ [1] – o operatyvioji išvada ta, kad ši galimybė turi palikti įrašą, kitaip jos nebuvo. NIST AI 600-1 perteikia tai veiksmo lygmeniu: „Stebėkite ir dokumentuokite atvejus, kai žmonės operatoriai ar kitos sistemos nepaiso generatyvaus DI sprendimų“ [6]. Žurnalas yra pagrindinis prasmingos peržiūros įrodymas.

Atskaitomybė glūdi aukščiau žurnalo. FCA leidinys AI Update nustato principą: „aiškios atskaitomybės linijos, įtvirtintos per visą DI gyvavimo ciklą“ [10]. JK SM&CR įmonės DI ir operacijų sritį priskiria vyriausiajai operacijų funkcijai; JAV įmonės vykdo valdybos lygmens DI komitetus; ES įmonės vadovaujasi EBA ir ECB gairėmis dėl vyresniosios vadovybės atskaitomybės. Principas perkeliamas per visas tris tradicijas, todėl DI valdysenos kūrimas nuo pirmos dienos pigesnis už vėlesnį pritaikymą. ISO/IEC 42001:2023 platesnį kontrolės rinkinį apibrėžia kaip „integruotą požiūrį į DI projektų valdymą, nuo rizikos vertinimo iki veiksmingo tų rizikų valdymo“ [8].

Auditoriai ieško atvirkštinių signalų. Peržiūros trukmė trumpesnė nei 10 sekundžių skaitoma kaip formalus antspaudavimas. Patvirtinimų dažnis virš 98 % skaitomas kaip jokios peržiūros. Tuščias argumentacijos laukas skaitomas kaip nedokumentuotas prasmingumas. Daugiau nei 200 sprendimų per dieną vienam peržiūrėtojui skaitoma kaip nuovargis. Kiekvienas iš jų – savarankiškas radinys.

§5 — Kaip ketvirtinis derinimas išlaiko „human-in-the-loop“ sąžiningą?

Slenksčiai nėra nustatyk-ir-pamiršk. Modeliai nukrypsta, verslo taisyklės keičiasi, atsiranda ribiniai atvejai. Ketvirtinis ciklas yra pigiausia disciplina, neleidžianti suprojektuotai „human-in-the-loop“ sistemai nuslysti į teatrą, ir jis turi svorį visose jurisdikcijose: 14 straipsnio „veiksmingos“ priežiūros reikalavimo be jo neįmanoma įvykdyti, o NIST AI RMF MANAGE tikisi įdiegtų „rizikos prioritetų nustatymo bei reguliarios stebėsenos ir tobulinimo planų“ [5].

Pirmas mėnuo – išmatuokite bazinį lygį: „human-in-the-loop“ apimtis per savaitę, nepaisymo dažnis pagal patikimumo juostą, laiko iki sprendimo pasiskirstymas, perdavimo dažnis pagal pakopą. Antras mėnuo – nustatykite nuokrypio signalus: juostos, kuriose nepaisymas viršija 20 %, reiškia, kad modelis nepatikimas ir peržiūros juostą reikia praplėsti arba modelį perkvalifikuoti; juostos, kuriose mažiau nei 2 %, gali būti saugiai susiaurintos; B konstrukcijos atvejai be peržiūros per langą reiškia, kad paketinis procesas sugedo. Trečias mėnuo – koreguokite ir dokumentuokite: atnaujinkite slenksčių apibrėžtis, padidinkite policy_version nurodydami pakeitimo priežastį, informuokite operacijas, iš naujo nustatykite bazinį lygį.

Ciklas remiasi peržiūrėtojų kultūra, kuri palaiko nepaisymą. ICO tai pasako tiesiai: prasminga peržiūra reikalauja, kad „peržiūrėtojai turėtų įgaliojimą nepaisyti DI sistemos sugeneruoto rezultato ir būtų tikri, jog už tai nesusilauks sankcijų“ [3]. Tas pats lūkestis glūdi JAV viešuosiuose pirkimuose pagal NIST AI RMF ir ES atskaitomybės taisyklėse pagal EBA bei ECB – skirtingos jurisdikcijos, vienodas veiklos reikalavimas. Kur kultūra baudžia už nukrypimą, nepaisymo dažnis sugriūva dėl kultūrinių, o ne techninių priežasčių, ir duomenys, kuriais ciklas remiasi, tampa neinterpretuojami. JK DSIT AI Playbook įvardija atsakomybę: ciklą valdo DI peržiūros taryba arba programos lygmens taryba [4]. Tipinis vidutinės rinkos atsakymas į klausimą „kas už tai atsakingas“ yra paaukštinimas iš vidaus – žr. argumentus, kodėl geriausias DI vadovo samdymas^EN yra organizacijos viduje.

§6 — Kurie penki antimodeliai neišlaiko 14 straipsnio audito?

Kiekviename audite išryškėja tie patys penki nesėkmės modeliai.

Vieno mygtuko patvirtinti/atmesti sąsaja. Peržiūrėtojas mato tik sprendimą. Simptomas: 95 % ir didesni patvirtinimų dažniai, trumpesnės nei 10 sekundžių peržiūros. Sprendimas: atskleisti patikimumą, įvesties įrašą ir nurodytus neužtikrintumo veiksnius. 14 straipsnio 4 dalies b punktas aiškiai kalba apie automatizavimo šališkumą – peržiūrėtojai turi „nepamiršti galimo polinkio automatiškai pasikliauti ar pernelyg pasikliauti didelės rizikos DI sistemos generuojamu rezultatu“ [1].

Vienas peržiūrėtojas, be rotacijos. Vienas operacijų direktorius peržiūri kiekvieną atvejį. Simptomas: savaitgalio kamščiai, nuovargio klaidos dienos pabaigoje, vienas pažeidžiamumo taškas. Sprendimas: apmokytas 3–5 peržiūrėtojų telkinys pagal dokumentuotą rotacijos grafiką.

Slenkstis nustatytas kartą, niekada nederinamas. Tiekėjo numatytosios vertės lieka nepakeistos. Simptomas: „human-in-the-loop“ apimtis toli nuo juostos; nepaisymo dažnis įtartinai žemas arba chroniškai virš 20 %. Sprendimas: §5 ketvirtinis ciklas.

Nefiksuojama nepaisymo argumentacija. Peržiūrėtojai gali nepaisyti, bet argumentacijos laukas neprivalomas arba tuščias. Simptomas: prasmingumo neįmanoma įrodyti. Sprendimas: struktūrizuotas fiksavimas – trijų svarbiausių priežasčių išskleidžiamasis sąrašas ir laisvo teksto laukas, abu privalomi.

Atsarginio kelio eilė be SLA. Atvejai nukreipiami į „žmogaus peržiūrą“ be atsakomybės juos išspręsti per apibrėžtą langą. Simptomas: eilės ilgis auga mėnuo po mėnesio, peržiūrėtojai praleidžia senesnius įrašus. Sprendimas: aiškus SLA kiekvienam atsarginiam keliui ir eilės stebėsenos skydelis su įvardytu savininku. Išsklaidyta atsakomybė yra struktūrinė rizika; BoE/FCA apklausa pažymi, kad atskaitomybė „dažnai padalijama, ir dauguma įmonių nurodo tris ar daugiau atskaitingų asmenų ar institucijų“ [9], o EU AI Act 14 straipsnis priežiūrą priskiria įvardytam „fiziniam asmeniui“ [1].

§7 — 14 straipsnis ir 2026 m. rugpjūčio kalendorius

Atitikties rėmas nėra konkrečiai jurisdikcijai pritaikytas teatras. Daug reguliuotojų sutampa ties tuo pačiu veiklos reikalavimu; EU AI Act prikabina viešiausią terminą. 113 straipsnis nustato didelės rizikos prievolių – įskaitant 14 straipsnį – taikymo datą: 2026 m. rugpjūčio 2 d. [1]. Nuo tos datos įmonės, diegiančios DI didelės rizikos III priedo srityse (įdarbinimas, kreditingumo vertinimas, ypatingos svarbos infrastruktūra, teisėsaugos duomenys), prisiima prievolę.

JK BDAR 22 straipsnis jau privalomas, ir jo reikalavimas yra „prasmingas žmogaus įnašas“ [3] – įgaliojimas, kompetencija, įvesties duomenų ir alternatyvų įvertinimas, palaikanti kultūra ir jokios sankcijos už modelio nepaisymą. Kur taikomas 22 straipsnis – visur, kur sprendimas turi teisinį ar panašiai reikšmingą poveikį – „antspaudavimas“ neišlaiko reikalavimo [2]. JAV pozicija nėra menka: valstijų lygmens įstatymai (Kolorado DI įstatymas, NYC AEDT, siūlomos Kalifornijos ADMT taisyklės) ir sektoriaus įgyvendinimas (FTC dėl automatizuoto sprendimų priėmimo, NIST AI RMF kaip federalinio naudojimo viešųjų pirkimų atskaitos taškas) stumia tą pačią discipliną. ISO/IEC 23894:2023 standartizuoja pamatinį rizikos valdymo požiūrį kaip „gaires, kaip organizacijos ... gali valdyti būtent su DI susijusią riziką“ [7] – švariausią nereguliacinį atramos tašką rinkoms, kurių su DI susiję įstatymai dar neįsigaliojo, ir bet kokios daugiajurisdikcinės veiklos politikos pagrindą.

Sektoriaus reguliuotojai sustiprina šią mintį: FCA yra technologiškai neutrali [10], ES atitikmenys pagal EBA ir ECB sutampa dėl vyresniosios vadovybės atskaitomybės, o BoE/FCA 2024 m. apklausa rodo, kad daugumoje apklaustų įmonių atskaitomybė paprastai suskaidyta tarp trijų ar daugiau atskaitingų šalių [9].

§§2–5 keliami projektavimo klausimai yra atitikties klausimai trijose teisinėse tradicijose. „Human-in-the-loop“ kūrimas tokiu būdu apmokamas kartą; pritaikymas po audito nesėkmės apmokamas kas ketvirtį.

§8 — Kaip atrodo keturių savaičių „human-in-the-loop“ projektavimo sprintas?

Pertvarka yra apibrėžta: operacijų vadovo sprintas, ne programa.

1 savaitė – išmatuokite esamą būklę. Inventorizuokite kiekvieną „žmogaus peržiūros“ žingsnį. Surinkite patvirtinimų dažnius, peržiūros trukmės pasiskirstymą, nepaisymo fiksavimo būklę, eilių ilgius. Pasyvaus patvirtinimo parašas: aukštas patvirtinimų dažnis, trumpa peržiūros trukmė, jokios struktūrizuotos nepaisymo argumentacijos.

2 savaitė – suprojektuokite sprendimo kelius. Nustatykite patikimumo ribas kiekvienai darbo eigai naudodami §2 pradinius taškus. Suprojektuokite atsarginius kelius pagal §3. Apibrėžkite nepaisymo audito schemą pagal §4. Dokumentuokite policy_version v1.0 su slenksčių vertėmis, savininkais ir SLA.

3 savaitė – įgyvendinkite, apmokykite, rinkite duomenis. Sujunkite sąsajos pakeitimus – atskleiskite modelio argumentaciją ir patikimumą peržiūrėtojo ekrane. Apmokykite peržiūrėtojų telkinį su praktiniais pavyzdžiais. Pradėkite veiklą su pilna audito registracija nuo pirmos dienos.

4 savaitė – pirma derinimo peržiūra ir auditui parengta dokumentacija. Įvykdykite §5 ciklą su 3 savaitės duomenimis; akivaizdūs nuokrypio signalai išryškėja net per trumpą langą. Surinkite artefaktų rinkinį: slenksčių apibrėžtis, nepaisymo dažnio skydelį, perdavimo kelių inventorių, atsakomybės žemėlapį. Rezultatas – pozicija, kurią galima patikrinti su 50 klausimų, kuriuos sprendimų priėmėjai užduoda prieš diegdami DI^EN, apimančiais Q3.10, Q5.4, Q5.5 ir Q5.7.

Sąnaudų juosta: 20–40 valandų operacijų vadovo laiko. Rezultatas: 14 straipsniui parengtas priežiūros protokolas, 22 straipsnio atžvilgiu pagrindžiama „prasmingos peržiūros“ pozicija ir NIST RMF atitinkanti MANAGE funkcija.

Nuo patvirtinimo prie disciplinos

Praėjus keturioms savaitėms po pertvarkos, veiklos vaizdas pasikeitė. „Human-in-the-loop“ apimtis žalų darbo eigoje sumažėjo 70 %, nes automatinis atmetimas atlieka realų darbą žemiau slenksčio esančioje juostoje. Vidutinis peržiūros laikas atvejams, kurie pasiekia „human-in-the-loop“, išaugo iki maždaug keturių minučių – tiek, kiek iš tikrųjų trunka struktūrizuota peržiūra. Nepaisymo dažnis stabilizavosi ties 14 %, sveikos 5–20 % juostos viduje, kiekvienam nepaisytam atvejui turint struktūrizuotą argumentaciją. Atitikties pareigūno klausimas dabar turi atsakymą su prisegtais versijų numeriais.

Skirtumas tarp audito teatro ir audito atžvilgiu pagrįstos priežiūros yra ne tai, kaip rimtai įmonė kalba apie žmogaus peržiūrą. Tai – ar peržiūra yra suprojektuota slenksčių sistema, ar vieno paspaudimo patvirtinimas. Viena išlaiko 14 straipsnį. Kita – ne.

Norėdami pamatyti, kokioje padėtyje yra „human-in-the-loop“ projektavimas visose organizacijos reguliuojamose darbo eigose, easy-audit.ai jį atvaizduoja per dvi struktūruotų klausimų valandas.

Santrauka

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document