Human-in-the-loop ei ole valvontaa. Se on suunnitteluperiaate.

Hyväksyntä, jota ei ollut

Marrowfield Specialty Riskillä tämän kevään korvaustriagen auditointi tuotti lyhyen, kiusallisen sananvaihdon. Vakuutusmeklarilla, jolla on noin 150 työntekijää valvotulla markkinalla, oli ollut käytössä tekoälyn merkintäjärjestelmä puolentoista vuoden ajan. Mariela Okafor, korvauskäsittelyn vetäjä, oli ehtinyt istua paikallaan kaksitoista vuotta. Käsittelijät käsittelivät yli 200 tapausta päivässä; malli merkitsi niistä noin 8 %. Auditointi nosti esiin kaksi lukua: 96 % hyväksyntä tekoälyn merkitsemille tapauksille, 23 sekunnin keskimääräinen tarkistusaika. Vaatimustenmukaisuusvastaava kysyi: "Mihin kynnyksiin viritit?" Vastaus: "En mihinkään. Hyväksyn vain sen, mitä tekoäly lähettää minulle."

Marrowfield Specialty Risk on yhdistelmähahmo, joka pohjautuu keskisuurten erikoisvakuutusmeklareiden haastatteluihin sekä BoE:n/FCA:n ja EU:n tekoälyasetuksen vaatimustenmukaisuuskirjallisuuteen. Nimet on anonymisoitu; mittarit havainnollistavat siteeratuissa kyselyissä esiintyviä malleja.

Kolmen mantereen valvojien silmissä tuo sananvaihto luetaan nyt todisteena puuttuvasta valvonnasta. EU:n tekoälyasetuksen elokuun 2026 soveltamispäivä laittaa suunnitteluvirheelle kalenterin, mutta virhe on kalenteria vanhempi.

§1 — Passiivinen hyväksyntä on auditointiteatteria, ei valvontaa

Oletusajatusmalli – "tekoäly merkitsee, ihminen hyväksyy" – ei rakenteellisesti eroa valvonnan puutteesta. Yhden napin käyttöliittymä ilman syöttötietoja, mallin päättelyä ja luottamuspistettä tuottaa täsmälleen ne mittarit, jotka Marrowfieldilla nousivat esiin. Toiminnan tunnusmerkit vastaavat täysin automatisoitua työnkulkua, jonka vieressä seisoo ihminen varalla.

Valvontadata vahvistaa tämän koko populaation mittakaavassa. BoE:n/FCA:n AI in UK Financial Services 2024 -kysely havaitsi, että "55 %:ssa kaikista tekoälyn käyttötapauksista on jonkinasteista automatisoitua päätöksentekoa, ja näistä 24 % on puoliautonomisia, ts. vaikka ne voivat tehdä joukon päätöksiä itsenäisesti, ne on suunniteltu ottamaan ihmisen suorittama valvonta mukaan kriittisiin tai monitulkintaisiin päätöksiin" [9]. Tästä seuraa – yhdenmukaisesti NIST AI 600-1:n ihminen–tekoäly-kokoonpanon riskin jäsennyksen kanssa – että suurimmalla osalla automatisoidun päätöksenteon populaatiosta ei ole merkityksellistä puuttumiskohtaa.

Valvojat ovat ryhtyneet kuromaan kuilua umpeen. ICO:n kanta on selvä: päätös ei jää UK GDPR:n 22 artiklan ulkopuolelle "vain siksi, että ihminen on 'kumileimannut' sen" [2]. Sama ohjeistus on terävämpi toiminnan näytön suhteen: tarkistajat, jotka "rutiininomaisesti yhtyvät tekoälyjärjestelmän tuotoksiin eivätkä voi osoittaa arvioineensa niitä aidosti", voidaan luokitella UK GDPR:n nojalla pelkästään automatisoiduksi [3]. EU:n tekoälyasetus asettaa rinnakkaisen testin 14 artiklassa edellyttäen, että järjestelmät "suunnitellaan ja kehitetään ... niin, että luonnolliset henkilöt voivat valvoa niitä tehokkaasti" [1]. Sana tehokkaasti kantaa painon molemmissa oikeusperinteissä. Suunnittelukysymys ei ole enää "onko ihminen paikalla?" vaan "onko suunnittelu sellainen, että ihminen voi havaita, ohittaa ja keskeyttää – ja tekisikö hän niin?"

§2 — HITL on kynnysjärjestelmä, ei tarkistusvaihe

Vakavasti otettuna human-in-the-loop on järjestelmä: selkeät luottamuskynnykset, kolme päätösreittiä, riskipainotuskerros ja jonokäytäntö. Malli palauttaa luottamuspisteen välillä 0,0–1,0, ja sovellettavana on kolme rajaa – automaattinen hylkäys alarajan alapuolella, ihmistarkistus keskikaistalla, automaattinen hyväksyntä ylärajan yläpuolella. Säänneltyjen työnkulkujen varovaiset lähtökohdat asettuvat noin arvoihin 0,3 / 0,95; maltillinen toiminta lähelle arvoja 0,5 / 0,9; vähäriskinen luokittelu arvoihin 0,7 / 0,95. Rajat ovat tarkoituksella epäsymmetrisiä: väärillä positiivisilla ja väärillä negatiivisilla on eri kustannukset, ja kynnysjärjestelmä koodaa tuon epäsymmetrian sen sijaan, että hautaisi sen yhteen lukuun. NIST AI RMF 1.0 päätyy samaan – sen MANAGE-toiminto "edellyttää riskiresurssien kohdentamista kartoitettuihin ja mitattuihin riskeihin säännöllisesti" [5], ja kynnykset ovat kohdentamismekanismi, mitoitettuna riskin eikä mukavuuden mukaan.

Päälle asettuu riskipainotettu kerros. Luottamus kerrotaan liiketoiminnan riskin vakavuuspisteellä – korvauksen suuruus, päätöksen peruuttamattomuus, sääntelyaltistus – jolloin syntyy 3×3-reititysmatriisi. Suuririskinen, matalan luottamuksen tapaus eskaloituu esihenkilölle; suuririskinen, korkean luottamuksen tapaus reitittyy silti tavanomaiseen HITL-tarkistukseen automaattisen hyväksynnän sijaan. Valinta kaksitasoisen ja kolmitasoisen järjestelmän välillä on merkityksellinen: kaksitasoinen järjestelmä ohjaa jokaisen epävarman tapauksen yhteen jonoon, jono tulvii yli, käsittelijät turvautuvat oletuksena massahyväksyntään – juuri se malli, joka tuotti Marrowfieldin 96 %:n asteen. Kolmitasoinen järjestelmä antaa automaattiselle hylkäykselle tuottavan roolin. Reititys nojaa keskitettyyn tekoälystrategiaan^EN, jonka hyväksytty teknologiapino tuottaa johdonmukaista luottamuspisteytystä; satunnainen työkalujen rönsyily tekee kynnyskurin mahdottomaksi, koska eri mallien pisteet eivät ole vertailukelpoisia.

§3 — Varareitit suunnitellaan, niitä ei oleteta

"Varareitti" ei ole virheenkäsittelyä. Se on järjestelmän nimenomainen haara silloin, kun tekoäly on epävarma, ja se tarvitsee reitin, henkilön ja palvelutason. Kolme suunnitelmaa kattaa kentän.

Suunnitelma A – synkroninen human-in-loop: tekoäly pysähtyy ja palauttaa tapauksen jonoon, mukana syöttötiedot, päättely ja luottamus, palvelutasolla 2–4 tuntia; sopii lähes reaaliaikaisille päätöksille. Suunnitelma B – asynkroninen erään jonotus: tekoäly palauttaa alustavan vastauksen ja nostaa sen sitten esiin päivittäisessä tai viikoittaisessa erässä takautuvalla ohitusikkunalla; sopii kiireettömään työhön. Suunnitelma C – hierarkkinen eskalointi asiantuntijalle: reitittää tekoälyn epävarmuuden ja riskin vakavuuden mukaan monitasoiseen tarkistajien joukkoon (vakio → asiantuntija → esihenkilö) palvelutasoilla 4 h / 24 h / 72 h; sopii säänneltyyn päätöksentekoon – vakuutusarvioinnin lähetteet, lääketieteellinen triage, vaatimustenmukaisuusmerkinnät.

Jokainen varareitti tarvitsee nimetyn omistajan ja dokumentoidun palvelutason. UK DSIT:n AI Playbook sanoo sen toiminnan tasolla – "selkeästi dokumentoidut tarkistus- ja eskalointiprosessit ... sekä tekoälyn tarkistuslautakunta tai ohjelmatason lautakunta" [4] – ja NIST AI RMF MANAGE kantaa saman ohjeen toisesta kulmasta edellyttäen käyttöönoton jälkeistä seurantaa nimetyin palautekanavin. Auditoinnin anti-malli on johdonmukainen: kaikenkattava "ihmistarkistus"-jono ilman palvelutasoa ja omistajaa, jossa jono kasvaa ja tekoälyn suositus muuttuu tosiasialliseksi päätökseksi. Marrowfieldilla uudelleensuunnittelu osoitti jokaiselle varareitille tehtävän: olennaisuuskaistan alittavat pienet korvaukset käsitellään automaattisesti; keskikaistan tapaukset ajavat suunnitelmaa A neljän tunnin palvelutasolla; ylemmän kaistan ja kynnyksen alittavat tapaukset ajavat suunnitelmaa C nimettyjen vakuutusarvioijien kanssa. Jonot lakkasivat olemasta yksi ylitulvakanava ja muuttuivat kolmeksi tuotantolinjaksi omine mittareineen ja omistajineen.

§4 — Ohitusten auditointijälki on vaatimustenmukaisuuden todiste

Mitä auditoijat todella tarkastavat, on ohitusloki. Ei lokia, tai loki ilman jäsenneltyä perustelua, ei läpäise testiä ennen kuin yhdellekään kerronnalliselle puolustukselle annetaan kuulemista. Vähimmäistodiste HITL-päätöstä kohti on kiinteä skeema: case_id, tekoälyn luottamus, tekoälyn suositus, tarkistajan tunnus, tarkistuksen kesto sekunteina, ihmisen päätös, ohituksen perustelu, aikaleima, policy_version. Ilman kenttää policy_version jälki on tulkitsematon vuotta myöhemmin, koska kynnykset ovat ehtineet siirtyä. EU:n tekoälyasetuksen 14 artiklan 4 kohta edellyttää, että tarkistajat voivat "puuttua toimintaan ... tai keskeyttää järjestelmän" [1] – ja toiminnan johtopäätös on, että kyvyn on jätettävä jälki tai sitä ei tapahtunut. NIST AI 600-1 asettaa sen toiminnan tasolle: "Seuraa ja dokumentoi tapaukset, joissa ihmiset tai muut järjestelmät ohittavat generatiivisen tekoälyn päätökset" [6]. Loki on merkityksellisen tarkistuksen keskeinen todiste.

Vastuu sijaitsee lokia ylempänä. FCA:n AI Update asettaa periaatteen: "selkeät vastuulinjat koko tekoälyn elinkaaren ajalle" [10]. UK:n SM&CR-yritykset sijoittavat tekoäly- ja toimintapinon Chief Operations -toiminnon alle; yhdysvaltalaisyritykset pyörittävät hallitustason tekoälykomiteoita; EU-yritykset noudattavat EBA:n ja EKP:n ohjeita ylimmän johdon vastuusta. Periaate on siirrettävissä kaikkien kolmen perinteen yli, mikä tekee tekoälyn hallinnan rakentamisesta ensimmäisestä päivästä alkaen halvempaa kuin jälkiasennuksen. ISO/IEC 42001:2023 kehystää laajemman kontrollijoukon "yhtenäiseksi tavaksi hallita tekoälyhankkeita riskinarvioinnista näiden riskien tehokkaaseen käsittelyyn" [8].

Auditoijat etsivät päinvastaisia signaaleja. Alle 10 sekunnin tarkistuskesto luetaan kumileimasimeksi. Yli 98 %:n hyväksyntäaste luetaan tarkistuksen puuttumiseksi. Tyhjä perustelukenttä luetaan dokumentoimattomaksi merkityksellisyydeksi. Yli 200 päätöstä päivässä tarkistajaa kohti luetaan väsymykseksi. Jokainen on löydös omillaan.

§5 — Miten neljännesvuosittainen viritys pitää HITL:n rehellisenä?

Kynnykset eivät ole kerran-aseta-ja-unohda. Mallit ajautuvat, liiketoimintasäännöt muuttuvat, reunatapauksia ilmaantuu. Neljännesvuosittainen kierros on halvin kuri, joka estää suunniteltua HITL-järjestelmää taantumasta teatteriksi, ja se kantaa painoa lainkäyttöalueiden yli: 14 artiklan "tehokkaan" valvonnan testiä on mahdoton täyttää ilman sitä, ja NIST AI RMF MANAGE odottaa, että käytössä on "suunnitelmat riskin priorisointiin sekä säännölliseen seurantaan ja parantamiseen" [5].

Kuukausi yksi – mittaa lähtötaso: HITL-volyymi viikossa, ohitusaste luottamuskaistoittain, päätökseen kuluvan ajan jakauma, eskalointiaste tasoittain. Kuukausi kaksi – tunnista ajautumissignaalit: kaistat, joilla ohitus ylittää 20 %, tarkoittavat että malli on epäluotettava ja HITL-kaistaa on levennettävä tai malli on koulutettava uudelleen; alle 2 %:n kaistoja voi turvallisesti kaventaa; suunnitelman B tapaukset ilman tarkistusta ikkunan sisällä tarkoittavat, että eräprosessi on rikki. Kuukausi kolme – säädä ja dokumentoi: päivitä kynnysmääritelmät, kasvata kenttää policy_version muutoksen syyllä, ilmoita toiminnolle, nollaa lähtötaso.

Kierros olettaa tarkistajakulttuurin, joka tukee ohittamista. ICO on tästä yksiselitteinen: merkityksellinen tarkistus edellyttää, että "tarkistajilla on valtuudet ohittaa tekoälyjärjestelmän tuottama tuotos ja että he ovat varmoja siitä, ettei heitä rangaista niin tehdessään" [3]. Sama odotus istuu yhdysvaltalaisissa hankinnoissa NIST AI RMF:n alla ja EU:n vastuusäännöissä EBA:n ja EKP:n alla – eri lainkäyttöalueet, identtinen toiminnan testi. Siellä missä kulttuuri rankaisee poikkeamasta, ohitusasteet romahtavat kulttuurisista eivätkä teknisistä syistä, ja data, josta kierros riippuu, muuttuu tulkitsemattomaksi. UK DSIT:n Playbook nimeää omistajuuden: tekoälyn tarkistuslautakunta tai ohjelmatason lautakunta omistaa kierroksen [4]. Keskisuurten yritysten tyypillinen vastaus kysymykseen "kuka tämän omistaa" on sisäinen ylennys – katso perustelut sille, että paras tekoälyvetäjän rekrytointi^EN on talon sisältä.

§6 — Mitkä viisi anti-mallia kaatuvat 14 artiklan auditoinnissa?

Samat viisi epäonnistumisen muotoa nousevat esiin jokaisessa auditoinnissa.

Yhden napin hyväksy/hylkää-käyttöliittymä. Tarkistaja näkee vain päätöksen. Oire: yli 95 %:n hyväksyntäasteet, alle 10 sekunnin tarkistukset. Korjaus: tuo näkyviin luottamus, syöttötiedot ja ilmaistut epävarmuustekijät. Tekoälyasetuksen 14 artiklan 4 kohdan b alakohta on yksiselitteinen automaatioharhasta – tarkistajien on "pysyttävä tietoisina mahdollisesta taipumuksesta luottaa automaattisesti tai liiallisesti suuririskisen tekoälyjärjestelmän tuottamaan tuotokseen" [1].

Yksi tarkistaja, ei vuorottelua. Yksi toimintajohtaja tarkistaa jokaisen HITL-tapauksen. Oire: viikonloppupullonkaulat, väsymysvirheet päivän loppupuolella, yksittäinen vikapiste. Korjaus: koulutettu 3–5 tarkistajan joukko dokumentoidulla vuorottelulistalla.

Kynnys asetettu kerran, ei koskaan viritetty. Toimittajan oletusarvot ovat muuttumattomat. Oire: HITL-volyymi kaukana kaistasta; ohitusasteet epäilyttävän matalat tai kroonisesti yli 20 %. Korjaus: §5:n neljännesvuosittainen kierros.

Ei ohituksen perustelun talteenottoa. Tarkistajat voivat ohittaa, mutta perustelukenttä on valinnainen tai tyhjä. Oire: merkityksellisyyttä ei voi osoittaa. Korjaus: jäsennelty talteenotto – kolmen tärkeimmän syyn pudotusvalikko sekä vapaatekstikenttä, molemmat pakollisia.

Varareittijono ilman palvelutasoa. Tapaukset reitittyvät "ihmistarkistukseen" ilman vastuuta niiden selvittämisestä määritellyn ikkunan sisällä. Oire: jonon pituus kasvaa kuukaudesta toiseen, tarkistajat ohittavat vanhempia merkintöjä. Korjaus: nimenomainen palvelutaso varareittiä kohti sekä jonon seurantanäkymä nimetyllä omistajalla. Hajautunut omistajuus on rakenteellinen riski; BoE:n/FCA:n kysely toteaa, että vastuu "on usein jaettu siten, että useimmat yritykset raportoivat kolme tai useampia vastuullisia henkilöitä tai elimiä" [9], ja EU:n tekoälyasetuksen 14 artikla asettaa valvonnan nimetylle "luonnolliselle henkilölle" [1].

§7 — 14 artikla ja elokuun 2026 kalenteri

Vaatimustenmukaisuuskehys ei ole lainkäyttöaluekohtaista teatteria. Useat valvojat lähentyvät samaan toiminnan testiin; EU:n tekoälyasetukseen liittyy julkisin määräaika. 113 artikla asettaa suuririskisten velvoitteiden – myös 14 artiklan – soveltamispäiväksi 2.8.2026 [1]. Tuosta päivästä alkaen yritykset, jotka ottavat tekoälyä käyttöön liitteen III suuririskisillä alueilla (työsuhde, luottoluokitus, kriittinen infrastruktuuri, lainvalvonnan tiedot), kantavat velvoitteen.

UK GDPR:n 22 artikla on jo sitova, ja sen testi on "merkityksellinen ihmispanos" [3] – valtuudet, osaaminen, syöttötietojen ja vaihtoehtojen huomioon ottaminen, tukeva kulttuuri ja ei rangaistusta mallin ohittamisesta. Siellä missä 22 artiklaa sovelletaan – aina kun päätöksellä on oikeudellinen tai vastaava merkittävä vaikutus – "kumileimaaminen" kaatuu testissä [2]. Yhdysvaltain kanta ei ole poissa: osavaltiotason lait (Colorado AI Act, NYC AEDT, Kalifornian ehdotetut ADMT-säännöt) ja sektorikohtainen valvonta (FTC automatisoidusta päätöksenteosta, NIST AI RMF hankintaviitteenä liittovaltion käytössä) ajavat samaa kuria. ISO/IEC 23894:2023 standardoi taustalla olevan riskinhallinnan lähestymistavan "ohjeena siihen, miten organisaatiot ... voivat hallita nimenomaan tekoälyyn liittyvää riskiä" [7] – puhtain ei-sääntelyperusteinen ankkuri markkinoille, joiden tekoälykohtaiset lait eivät ole vielä tulleet voimaan, ja selkäranka mille tahansa monilainkäyttöalueiselle toimintapolitiikalle.

Sektorivalvojat vahvistavat asian: FCA on teknologianeutraali [10], EU:n vastineet EBA:n ja EKP:n alla yhdenmukaistuvat ylimmän johdon vastuun suhteen, ja BoE:n/FCA:n 2024-kysely osoittaa vastuun olevan useimmissa kyselyyn vastanneissa yrityksissä tyypillisesti pirstoutunut kolmen tai useamman vastuullisen tahon kesken [9].

Pykälien 2–5 suunnittelukysymykset ovat vaatimustenmukaisuuskysymykset kolmen oikeusperinteen yli. HITL:n rakentaminen tällä tavalla maksetaan kerran; jälkiasennus auditoinnin epäonnistumisen jälkeen maksetaan joka neljännesvuosi.

§8 — Miltä neljän viikon HITL-suunnittelusprintti näyttää?

Uudelleensuunnittelu on rajattu: toiminnan vetäjän sprintti, ei ohjelma.

Viikko 1 – Mittaa nykytila. Inventoi jokainen "ihmistarkistuksen" vaihe. Hae hyväksyntäasteet, tarkistusten keston jakaumat, ohituksen talteenoton tila, jonojen pituudet. Passiivisen hyväksynnän tunnusmerkki: korkea hyväksyntäaste, matala tarkistuskesto, ei jäsenneltyä ohituksen perustelua.

Viikko 2 – Suunnittele päätösreitit. Aseta luottamusrajat työnkulkua kohti §2:n lähtökohdilla. Suunnittele varareitit §3:n mukaan. Määritä ohitusten auditointiskeema §4:n mukaan. Dokumentoi policy_version v1.0 kynnysarvoineen, omistajineen ja palvelutasoineen.

Viikko 3 – Toteuta, kouluta, kerää dataa. Kytke käyttöliittymämuutokset – tuo mallin päättely ja luottamus näkyviin tarkistajan näytölle. Kouluta tarkistajajoukko työstettyjen esimerkkien avulla. Aloita live-toiminta täydellä auditointilokituksella ensimmäisestä päivästä alkaen.

Viikko 4 – Ensimmäinen viritystarkistus ja auditointivalmis dokumentaatio. Aja §5:n kierros viikon 3 dataa vasten; ilmeiset ajautumissignaalit nousevat esiin lyhyelläkin ikkunalla. Kokoa todistepaketti: kynnysmääritelmät, ohitusasteen näkymä, eskalointireittien inventaario, omistajuuskartta. Tulos on lähtöasema, jota vasten testata 50 kysymystä, jotka päättäjät esittävät ennen tekoälyn käyttöönottoa^EN, joka kattaa kysymykset Q3.10, Q5.4, Q5.5 ja Q5.7.

Kustannushaarukka: 20–40 tuntia toiminnan vetäjän aikaa. Tuotos: 14 artiklaan valmis valvontaprotokolla, 22 artiklan kestävä "merkityksellisen tarkistuksen" asema sekä NIST-RMF-yhdenmukainen MANAGE-toiminto.

Hyväksynnästä kuriin

Neljä viikkoa uudelleensuunnittelun jälkeen toiminnan kuva on muuttunut. HITL-volyymi korvaustyönkulussa on laskenut 70 %, koska automaattinen hylkäys tekee oikeaa työtä kynnyksen alittavalla kaistalla. Niiden tapausten keskimääräinen tarkistusaika, jotka pääsevät HITL:ään asti, on noussut noin neljään minuuttiin – aikaan, jonka jäsennelty tarkistus todella vie. Ohitusaste on vakiintunut 14 %:iin, terveen 5–20 %:n kaistan sisälle, ja jokainen ohitettu tapaus kantaa jäsenneltyä perustelua. Vaatimustenmukaisuusvastaavan kysymyksellä on nyt vastaus, johon on liitetty versionumerot.

Ero auditointiteatterin ja auditointia kestävän valvonnan välillä ei ole se, kuinka vakavasti yritys puhuu ihmistarkistuksesta. Se on se, onko tarkistus suunniteltu kynnysjärjestelmä vai yhden klikkauksen hyväksyntä. Toinen läpäisee 14 artiklan. Toinen ei.

Jos haluat lukea, missä HITL-suunnittelu on organisaation säänneltyjen työnkulkujen läpi, easy-audit.ai kartoittaa sen kahdessa tunnissa jäsenneltyjä kysymyksiä.

Yhteenveto

HITL — designed oversight, not passive sign-off
│
├─ The failure · audit theatre
│   ├─ Passive sign-off — one-click approve, no reasoning shown
│   └─ Rubber-stamp test — >98% approve, <10s review fails it
│
├─ The system · thresholds & routes
│   ├─ Three routes — auto-reject / HITL review / auto-approve
│   ├─ Risk overlay — confidence × severity sets escalation
│   └─ Fallback paths — named owner, SLA, override audit log
│
└─ The discipline · stays honest
    ├─ Healthy band — 5–20% override; outside it, tune or retrain
    └─ Quarterly cycle — measure, spot drift, re-version, document