RAG (paieška papildytas generavimas)
RAG, arba Retrieval-Augmented Generation, yra DI architektūros modelis, kuriame kalbos modelis prieš generuodamas atsakymą pirmiausia atlieka paiešką žinių bazėje, randa svarbiausius dokumentų gabalus ir naudoja juos kaip atsakymo pagrindą. Dažniausiai naudojama architektūra reguliuojamuose sektoriuose, nes leidžia (1) atsekti kiekvieną atsakymo dalį iki šaltinio dokumento, (2) atnaujinti žinių bazę be modelio pertreniravimo, (3) išlaikyti jautrius duomenis vidinėje infrastruktūroje, ne pamatinio modelio konteksto.
Architektūros komponentai
Paskelbtų dokumentų gabaliavimas (chunking), įdėjimų generavimas (embeddings), vektorių duomenų bazė (FAISS, pgvector, Pinecone arba Qdrant), užklausos perrašymas, hibridinė paieška (vektoriai plius BM25), perreitingavimas (reranking), atsakymo generavimas su šaltinio nuorodomis.
Privalumai prieš tikslinį modelio mokymą
Atnaujinimas - galima pridėti naujus dokumentus per minutes, ne savaites, kurių reikia pertreniravimui. Pigesnis - skaičiavimo sąnaudos žemesnės. Patikrinamas - kiekvienas atsakymas turi šaltinio grandinę. Mažesnis pasislinkimo (overfitting) rizika. Geriau veikia, kai žinių bazė dažnai keičiasi (teisės aktai, vidiniai sprendimai, produkto dokumentacija).
Kaip Impetora taiko
Standartinė architektūra reguliuojamiems sektoriams. Naudojame ES regiono vektorių duomenų bazes, dokumentų indeksą su BDAR poslepimo grandine (vienos užklausos paslepimas pašalina dokumentą iš indekso per 24 val.), audito žurnalus su pateiktais šaltiniais kiekvienai užklausai. Kiekvienas atsakymas turi nuorodą į puslapį, paragrafą arba lentelės eilutę, iš kurios duomuo paimtas.
Susiję terminai
Įdėjimas (embedding), vektorių duomenų bazė, paieškos srautas, perreitingavimas, agentinė darbo eiga, dokumentų išgavimas.
Lietuviška versija nuolat plečiama. Konkrečiam projektui kvietime pažintiniam pokalbiui arba rašykite info@ainora.lt.