Dokumentų apdorojimo automatizavimas Europos verslams
Dokumentų apdorojimo automatizavimas yra dirbtinio intelekto sistemų panaudojimas struktūruotiems duomenims išgauti, turiniui klasifikuoti ir sprendimams nukreipti iš nestruktūruotų dokumentų: sutarčių, žalų bylų, sąskaitų ir reguliacinių paraiškų. Impetora kuria tokias sistemas su citavimu kiekviename išgaunamame lauke, pasiekdama 87% rankinės peržiūros sumažinimą esant 0,4% klaidų lygiui.
01.Kas yra dokumentų apdorojimo automatizavimas?
Dokumentų apdorojimo automatizavimas, dažnai vadinamas išmaniuoju dokumentų apdorojimu (IDP), apjungia optinį simbolių atpažinimą, į išdėstymą atsižvelgiantį duomenų išgavimą, klasifikavimo modelius ir sprendimų logiką. Sistema paverčia nestruktūruotus dokumentus į struktūruotus, nukreipiamus duomenis. Sritis apima sutarčių peržiūrą, draudimo žalų priėmimą, sąskaitų atpažinimą ir kodavimą, reguliacinių paraiškų duomenų išgavimą bei bylų medžiagos analizę teisės ir sveikatos sektoriuose.
Pagal Gartner IDP rinkos analizę, segmentas 2024 metais pasiekė apytikriai 1,6 mlrd. JAV dolerių apimtį ir prognozuojama, kad iki 2028 metų augs daugiau kaip 30% per metus. Augimą skatina verslo poreikis išgauti duomenis iš reguliuojamų, nestruktūruotų dokumentų. Impetora dirba šioje srityje su vienu pagrindiniu apribojimu: kiekvienas išgaunamas laukas turi nuorodą į puslapį, pastraipą ir punktą, iš kurio buvo paimtas, todėl peržiūrintis darbuotojas bet kurį sprendimą gali patikrinti per kelias sekundes.
03.Kaip Impetora TRACE metodologija sprendžia šią problemą?
Trust (pasitikėjimas)
Readiness (parengtis)
Architecture (architektūra)
Citations (citatos)
Patikimumas. Dokumentai lieka Europos Sąjungoje. Saugykla, OCR, modelio sąsaja ir audito žurnalas veikia EEE infrastruktūroje, todėl Vokietijos draudikas ar Lietuvos teisės kontora reguliatoriui gali pateikti duomenų kelią viename puslapyje. Kiekviena sistema klasifikuojama pagal ES DI akto rizikos kategorijas; klasifikavimo sistemos, turinčios įtakos teisėms ar paslaugoms, gauna aukštai rizikai numatytą kontrolę, kurios reikalauja teisės aktas.
Pasirengimas. Prieš pasirenkant modelį, surenkame mažiausiai 30 dienų realių dokumentų pavyzdžių, fiksuojame esamą apdorojimo trukmę bei klaidų lygį ir aprašome darbo srautą, kuriame DI dirbs. Architektūra. Gamybinės kokybės procesai su versijuojamomis užklausomis, vertinimo rinkiniais ir šešėliniu paleidimu prieš automatizuojant bet kokį sprendimą. Citatos ir įrodymai. Kiekvienas išgaunamas laukas susietas su šaltinio puslapiu, jo zona dokumente ir modelio versija. Peržiūrintis darbuotojas, tvirtinantis išimtį, sprendimą iki šaltinio atseka per mažiau nei 10 sekundžių.
04.Kaip atrodo sistemos architektūra?
Sistemą sudaro keturios nuosekliai dirbančios dalys. Pirma, priėmimo sluoksnis priima dokumentus per el. paštą, saugų įkėlimą, skenerį ar API, normalizuoja failus ir įrašo originalą į nekeičiamą saugyklą su maišos kodu. Antra, apdorojimo sluoksnis vykdo išdėstymo analizę, struktūruotą duomenų išgavimą ir klasifikavimą, grąžindamas kandidato JSON įrašą su lauko lygio pasitikėjimo balais ir nuorodomis į šaltinius.
Trečia, peržiūros sąsaja, kurioje matomi tik tie laukai, kurių pasitikėjimas yra žemesnis už nustatytą ribą. Žmogus tvirtina ar ištaiso laukus, palyginimui matydamas šaltinio puslapį šalia, o pataisymas automatiškai patenka į vertinimo rinkinį. Ketvirta, pristatymo sluoksnis nukreipia patvirtintą įrašą į apskaitos sistemą (žalų platformą, ERP, sutarčių saugyklą) su pilnu kelio aprašu ir įrašo struktūruotą įvykį į audito žurnalą. Peržiūrintys darbuotojai mato mažiau popierių ir labiau pasitiki sprendimais, nes kiekvienas atsakymas atsekamas nuo pradžios iki galo.
05.Kokius pamatuojamus rezultatus galima tikėtis?
Realus diegimas draudimo ar teisinės įmonės užnugaryje siekia keturių rodiklių, kuriuos esame patvirtinę bandomųjų projektų metu. Rankinės peržiūros laikas sumažėja 87% rutininėse dokumentų kategorijose, kuriose galima visiška automatizacija. Lauko lygio klaidų lygis siekia 0,4%, palyginti su tipišku 2-3% žmogaus rezultatu, kurį pateikia IBM dokumentų DI investicijų grąžos tyrimas. Vienkartinė dokumento apdorojimo kaina per pirmuosius 12 mėnesių sumažėja 50-70%.
Pralaidumas auga sparčiau, nei rodo kainos rodikliai. Žalų komanda, pradžioje apdorojusi 200 bylų per dieną, per keturis mėnesius prie tos pačios komandos dydžio paprastai pasiekia 600 bylų per dieną. Atlaisvintas laikas skiriamas išimtinėms byloms, kurioms iš tiesų reikia žmogaus sprendimo. Audito pėdsako apimtis pagal projektą yra 100%: kiekvienas sistemos sprendimas, įskaitant tuos, kurie nukreipiami žmogui, patenka į užklausomą žurnalą.
06.Kiek laiko trunka diegimas?
Pirmasis bandomasis projektas pasiekia gamybinę kokybę vienoje dokumentų kategorijoje per 4 savaites. Pirmas etapas (1-2 sav.) yra pasirengimo sprintas: duomenų atranka, esamų rodiklių fiksavimas, apimties patvirtinimas. Antras etapas (3-4 sav.) yra konstravimas ir šešėlinis paleidimas, kai sistema dirba lygiagrečiai su žmonių komanda, o jos atsakymai įrašomi, bet neveikia tikrovės. Trečias etapas (5-11 sav.) plečia diegimą iki gamybos ir papildomų dokumentų kategorijų, kurioms kiekvienai reikia 1-2 savaičių vertinimo darbų.
07.Kiek tai kainuoja?
Bandomieji projektai prasideda nuo 25 000 EUR vienai dokumentų kategorijai ir aiškiai apibrėžtai veiklos pradžiai. Pilni gamybiniai diegimai trijose-penkiose dokumentų kategorijose paprastai siekia 60 000-150 000 EUR, priklausomai nuo integracijos sudėtingumo ir vertinimo rinkinio dydžio. Pateikite projektą, kad gautumėte individualų pasiūlymą, ir mes parengsime sąmatą pagal jūsų konkretų dokumentų rinkinį ir integracijų lauką dar prieš pradedant programuoti.
02.Kaip ši sritis tradiciškai veikia?
Be dirbtinio intelekto, dokumentų darbo srautai remiasi šablonų pagrindu veikiančiu OCR, trapiomis taisyklėmis ir analitikų komanda, kuri rankomis perveda duomenis į pagrindines sistemas. Vidutinio dydžio draudimo bendrovė vienos sudėtingos žalos bylos apdorojimui paprastai skiria 25-40 minučių žmogaus laiko. Europos teisės kontora, peržiūrinti komercinę sutartį dėl trūkstamų punktų, vienam dokumentui sugaišta 2-4 valandas. Sąskaitų apdorojimas 5 000 darbuotojų organizacijoje paprastai kainuoja 8-14 EUR už sąskaitą, įskaitant visas darbo sąnaudas.
Klaidų lygis taip pat išlieka aukštas. McKinsey vidaus operacijų automatizavimo tyrimas nustato, kad 60-70% rutininių dokumentų apdorojimo užduočių tinka generaciniam DI, o tradicinis rankinis apdorojimas pasiekia 2-3% lauko lygio klaidų lygį dėl nuovargio, dėmesio sumažėjimo ir šablonų skirtumų. Tradicinė sistema yra lėta ne todėl, kad žmonės dirba lėtai. Ji yra lėta todėl, kad darbo srautas verčia žmones atlikti darbą, kuriam nereikia žmogiško sprendimo.
Dažniausi klausimai
Ar sistema atitinka ES DI akto reikalavimus?
Dokumentų klasifikavimo sistemos, turinčios įtakos esminėms paslaugoms ar teisėms, pagal ES DI akto III priedą priskiriamos prie aukštos rizikos. Impetora pagal numatytąjį nustatymą kuria pagal šį klasifikavimą: parengia atitikties vertinimo medžiagą, neredaguojamus audito žurnalus, dokumentuotą žmogaus priežiūrą ir ISO 42001 standartą atitinkančią valdyseną. Jei jūsų konkretus atvejis yra ribotos rizikos, įdiegiame proporcingą kontrolę. Bet kuriuo atveju audito pėdsakas yra pakankamas vidaus auditui ar išorės reguliatoriui atkurti bet kurį sistemos priimtą sprendimą, įskaitant modelio versiją, užklausą, šaltinį ir lauko lygio pasitikėjimo balą.
Koks tikslumas pasiekiamas gamybinėje aplinkoje?
Gamybinėje aplinkoje rutininiams dokumentams pasiekiame 0,3-0,6% lauko lygio klaidų lygį po pirmųjų trijų vertinimo derinimo savaičių, palyginti su 2-3% tipišku žmogaus rezultatu. Skaičius priklauso nuo dokumento sudėtingumo, skenavimo kokybės ir vertinimo rinkinio platumo. Mes neteigiame, kad visoms dokumentų kategorijoms galioja vienas tikslumo skaičius. Pirma fiksuojame pradinį lygį, derinamės iki sutartos ribos ir kas savaitę pranešame apie pažangą. Stanford HAI 2025 metų DI ataskaita pažangiems modeliams nustato daugiau kaip 96% lauko tikslumą standartiniuose testuose, o tai atitinka mūsų gamybinius rezultatus, kai paieška ir užklausos yra suderintos su konkrečių dokumentų rinkiniu.
Su kokiais dokumentų tipais dirbate?
Dauguma gamybinių diegimų apima komercines sutartis, draudimo žalų bylas, įskaitant pirminius žalos pranešimus, tiekėjų sąskaitas, reguliacines paraiškas, tokias kaip pažink savo klientą ir pinigų plovimo prevencijos dokumentai, sveikatos įrašus, įskaitant sutikimus ir siuntimus, bei teisinių bylų medžiagą. Galime dirbti ir su kitais dokumentų tipais, kai pasirengimo sprintas patvirtina, kad duomenys tinka sistemai. Reguliariai atsisakome projektų, kuriuose šaltinio dokumentai yra pernelyg nestabilūs arba kuriuose toliau dirbanti sistema negali patikimai priimti struktūruoto rezultato.
Ar sistema veiks su mūsų esamomis sistemomis?
Taip. Pristatymo sluoksnis kuriamas pagal jūsų apskaitos sistemą, ne atvirkščiai. Turime parengtas integracijas su pagrindinėmis žalų platformomis, ERP sistemomis (SAP, Microsoft Dynamics, Oracle), dokumentų saugyklomis (iManage, NetDocuments, SharePoint) ir sutarčių valdymo sistemomis. Sistemoms be šiuolaikinio API kuriame eilėmis paremtą tiltą su idempotentiniu rašymu ir rankinės sutikrinimo sąsaja. Audito žurnalas rašo neatsižvelgiant į tai, kur galiausiai atsiduria duomenys, todėl galima įrodyti kelią net tuomet, kai apskaitos sistema to padaryti negali.
Kur duomenys apdorojami ir saugomi?
Pagal numatytuosius nustatymus visi apdorojimo ir saugojimo procesai vyksta ES regionuose, ES jurisdikcijoje. Palaikome konkretaus regiono prisirišimą, jei to reikalauja reguliatorius arba sutartis (tik Vokietijoje, tik Prancūzijoje, tik Lietuvoje). Originalūs dokumentai patenka į nekeičiamą ES objektų saugyklą, o jų maišos kodai įrašomi į audito žurnalą. Modelio paklausai naudojami ES regione veikiantys galiniai taškai; jei jūsų sutartis dėl kainos leidžia ne ES apdorojimą, tai pateikiame kaip aiškų konfigūracijos jungiklį, niekada ne kaip numatytąjį nustatymą. Mes nemokome jokio modelio iš jūsų dokumentų.
Kaip palaikomas tikslumas laikui bėgant?
Naudojame dvi priemones. Pirma, peržiūros sąsaja kiekvieną žmogaus pataisymą automatiškai įrašo į vertinimo rinkinį, todėl rinkinys auga kartu su realiais gamybiniais duomenimis. Antra, vykdome ketvirtinę nuokrypio ataskaitą, kurioje einamojo mėnesio lauko lygio klaidų lygis lyginamas su slenkančia pradine reikšme. Kai kategorija nukrypsta nuo derybose suderintos ribos, perderinama paieška, užklausos ar klasifikavimo slenksčiai, ir prieš diegiant naujai patikriname rezultatus visu vertinimo rinkiniu. Pats diegimas pirmiausia vyksta šešėliniu režimu, ir paaukštinamas tik tada, kai vertinimo nuokrypis yra teigiamas.