Kaip diegti paieška papildytą generavimą (RAG) reguliuojamoje įmonėje

Gamybai paruošta RAG sistema reguliuojamoje aplinkoje projektuojama kaip valdomų etapų seka, o ne vientisas konvejeris. Kiekvienas etapas sukuria artefaktą, kurį vidaus auditorius arba išorės priežiūros institucija galės vėliau patikrinti.

1. Šaltinių korpuso valdymas. Klasifikuokite kiekvieną dokumentą pagal jautrumą, rezidavimą ir saugojimo terminą prieš įtraukdami jį į indeksą. Veskite rašytinį duomenų katalogą, fiksuokite kilmę ir teisinį pagrindą pagal BDAR 6 straipsnį, ir neįtraukite specialių kategorijų duomenų, jei netaikoma aiški 9 straipsnio sąlyga. Dokumentus, pažymėtus ištrinti pagal 17 straipsnį, turi būti įmanoma pašalinti iš indekso per sutartinį terminą.
2. Skaidymo ir įterpinių strategija. Pasirinkite gabalų dydį ir persidengimą pagal dokumento tipą, ne globaliai. Reguliacinis tekstas, sutartys ir klinikinės gairės skaidomi pagal sakinio bei skirsnio ribas; transakciniai žurnalai - fiksuotais langais. Su kiekvienu vektoriumi įrašykite įterpinių modelio versiją, kad būtų galima įgyvendinti pakartotinį įterpimą, kai modelis pasensta arba reguliacinis tekstas atnaujinamas.
3. Vektorinės saugyklos pasirinkimas. Rinkitės saugyklą, veikiančią ES regionuose, šifruojančią duomenis ramybės būsenoje su kliento valdomais raktais, skelbiančią tarpinių procesoriaus sąrašą ir palaikančią prieigos kontrolę pagal nuomininką arba dokumentą. Patikrinkite operatoriaus ISO/IEC 27001 ir, kai įmanoma, ISO/IEC 42001 atestacijas [3].
4. Paieškos vertinimas. Sudarykite tikslo rinkinį iš realių klausimų, į kuriuos atsakė srities ekspertai. Pamatuokite recall@k, vidutinį atvirkštinį rangą ir konteksto tikslumą prieš prijungdami LLM galinį tašką. Paieškos sluoksnio, kuris negrąžina tinkamų gabalų, neišgelbės joks geresnis generatorius.
5. Generavimas su privalomu citavimu. Apribokite orkestravimo sluoksnį taip, kad kiekvienas atsakymas cituotų bent vieną gabalą, o atsakymai be pagrindo būtų atmesti arba pažymėti peržiūrai. Stanford CRFM literatūra apie pagrindavimą rodo, kad privalomas citavimas reikšmingai sumažina haliucinacijų dažnį, palyginti su laisvu generavimu [4].
6. Žmogaus peržiūra reguliuojamiems sprendimams. Bet koks atsakymas, reikšmingai paveikiantis duomenų subjektą, turi keliauti per kvalifikuotą peržiūrėtoją prieš įsigaliodamas. Tai praktinis BDAR 22 straipsnio ir ES DI akto 14 straipsnio supratimas; tai privaloma kreditavimo, draudimo rizikos vertinimo, klinikinės triažo ir išmokų sprendimų atvejais [1][2].
7. Nuolatinė vertinimo sąranga. Kiekviename leidime vykdykite ištikimybės, atsakymo aktualumo ir citavimo pilnumo testus. Stebėkite įterpinių modelio, šaltinių korpuso ir reguliuotojo skelbiamų gairių dreifą. Reguliuotojo atnaujinimus traktuokite kaip kodo įvykius: kai EBA, EIOPA, ENISA arba DI biuras paskelbia, korpusas ir testai atnaujinami tą pačią savaitę [6][7].

Architektūra ta pati, prievolės ne. Reguliuojamas diegimas turi bet kada gebėti parodyti, kaip buvo sukurtas kiekvienas atsakymas ir kaip pagrįstas kiekvienas projektavimo sprendimas.

• ES DI akto 9 straipsnis reikalauja dokumentuotos rizikos valdymo sistemos, veikiančios per visą aukšto rizikos sistemos gyvavimo ciklą, su aiškia rizikos identifikacija, vertinimu ir mažinimu [1].
• BDAR 5 straipsnio duomenų minimizavimas taikomas pačiam paieškos žingsniui. Konvejeris neturi ištraukti asmens duomenų, kurių generatoriui nereikia; teisingi valdikliai yra užklausos lygio filtrai ir prieigos sritys pagal vaidmenį.
• BDAR 32 straipsnio saugumo prievolės apima šifravimą perdavimo metu ir ramybės būsenoje, smulkiagrūdę prieigos kontrolę, nekeičiamus audito žurnalus ir išbandytą reagavimą į incidentus. Žurnalai turi leisti atkurti bet kurį atskirą atsakymą.
• BDAR 35 straipsnis reikalauja Poveikio duomenų apsaugai vertinimo prieš diegimą, kai tvarkymas gali kelti didelę riziką duomenų subjektams; generatyvinėms sistemoms, tvarkančioms asmens duomenis, tai numatytoji prielaida.
• 22 straipsnis kartu su ES DI akto 14 straipsniu įtvirtina žmogaus priežiūros reikalavimą: kompetentingas peržiūrėtojas, turintis įgaliojimus ir informaciją sistemai panaikinti, turi būti įtrauktas į svarbius sprendimus.
• Sektoriniai sluoksniai. Bankininkystės diegimai turi atitikti SR 11-7 modelio rizikos valdymą su nepriklausomu validavimu ir nuolatinia stebėsena. Draudimas patenka į EIOPA gaires ir Mokumas II antrąjį ramstį. Sveikatos apsaugos sistemos, padedančios klinikiniams sprendimams, turi atitikti Medicinos prietaisų reglamentą, o saugomai sveikatos informacijai - HITRUST arba lygiavertes kontroles [6].

Penki gedimo režimai pasikartoja gamybinių RAG sistemų audituose; kiekvienas yra išvengiamas, jei vertinimo sąrangoje yra atitinkamas testas.

• Tylus pagrindo praradimas. Šaltinio dokumentas atnaujinamas, seni vektoriai lieka indekse, o sistema toliau cituoja pasenusią pastraipą. Sprendimas: kiekvienas gabalas turi turinio maišą ir šaltinio dokumento versiją, o pasenę vektoriai pašalinami įkėlimo metu.
• Įterpinių dreifas atnaujinant reguliacinį tekstą. Kai reguliuotojas pakeičia svarbų tekstą, naujo skirsnio įterpinys atsiduria kitoje vektorinės erdvės vietoje. Sprendimas: planinis pakartotinis įterpimas, paskelbiant reguliacinę publikaciją, su lygybės testu prieš ankstesnį indeksą.
• Pakartotinis rikiavimas, slepiantis citavimą. Pakartotinis rikiuotojas iškelia gabalą su dideliu panašumu, bet maža autoritetu, ir citata nebenukreipia į dokumentą, kuriuo iš tikrųjų rėmėsi atsakymas. Sprendimas: rangui jautrus citavimo žurnalas, fiksuojantis kiekvieną galutinį atsakymą paveikusį gabalą.
• Užklausos injekcija per įkeltus dokumentus. Vartotojas įkelia PDF, kurio turinys bando nepaisyti sistemos instrukcijos. Sprendimas: orkestravimo sluoksnyje atskirti nepatikimą turinį nuo instrukcijų, valyti įkeltus failus ir laikytis ENISA gairių dėl DI grėsmių modeliavimo [7].
• Tarpklientinis duomenų nutekėjimas. Neteisingai sukonfigūruotas filtras grąžina gabalus iš kito nuomininko ar kito padalinio. Sprendimas: nuomininko identifikatorius kaip privalomas predikatas kiekvienoje užklausoje, automatiniai testai su priešiškomis užklausomis ir indekso izoliavimas pagal nuomininką jautriausiems korpusams.

Vertinimas reguliuojamoje aplinkoje yra nuolatinė inžinerinė praktika, ne paleidimo kontrolinis taškas. Mažiausia metrikos matrica turi šešis matmenis.

• Ištikimybė. Generuojamų teiginių, paremtų gauta ištrauka, dalis. Matuojama prieš pažymėtą tikslo rinkinį.
• Atsakymo aktualumas. Ar atsakymas iš tikrųjų atsako į vartotojo klausimą, o ne į gretimą temą.
• Konteksto tikslumas ir atšaukimas. Ar paieškos sluoksnis pateikė tinkamus gabalus ir tik tinkamus.
• Citavimo pilnumas. Ar kiekvienas reikšmingas atsakymo teiginys nurodo konkrečią rastą ištrauką.
• Vėlavimas p95. Reguliuojamas darbo srautas, kurio žmogaus peržiūros etape pasibaigia laikas, yra netinkamas; vėlavimo biudžetas turi apimti orkestravimo sluoksnį, paiešką, generavimą ir bet kokį apsauginį žingsnį.
• Kaina už užklausą. Stebima pagal ketinimo klasę, kad verslas galėtų nuspręsti, kur sistemą taikyti, o kur pigesnis bus deterministinis paieškos sprendimas.

Atvirojo kodo RAG vertinimo karkasai subrendo iki tokio lygio, kad reguliuojami pirkėjai šias metrikas gali vykdyti nuolatinėje integracijoje. Karkasai skiriasi vertinimo modeliu ir ataskaitomis; svarbiau yra disciplina vykdyti juos kiekviename leidime [4].