RAG (paieška papildytas generavimas)

RAG (angl. retrieval-augmented generation) – paieška papildytas generavimas: prieš atsakydamas kalbos modelis gauna iš jūsų dokumentų surastas aktualias ištraukas ir atsako remdamasis jomis. Taip pokalbių robotas gali atsakyti apie jūsų prekes, grąžinimo taisykles ar vidines procedūras, nors LLM apie jas mokymo metu nieko nežinojo. Terminą 2020 m. įvedė Lewis ir kt. straipsnyje „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“.

Kaip veikia RAG: du etapai

Indeksavimas vyksta iš anksto ir kartojamas, kai keičiasi dokumentai:

1. Surenkami šaltiniai: prekių aprašai, DUK, taisyklės, sutarčių šablonai, vidinės instrukcijos.
2. Tekstas išvalomas (be meniu, poraščių, HTML) ir suskaidomas į gabalus (angl. chunks) – dažniausiai 300–800 žetonų, su nedideliu persidengimu.
3. Kiekvienam gabalui apskaičiuojamas embedding – skaičių vektorius, atspindintis prasmę.
4. Vektoriai su tekstu ir metaduomenimis (šaltinis, data, kategorija, kalba) įrašomi į vektorių duomenų bazę, pvz., PostgreSQL su pgvector plėtiniu.

Atsakymas vyksta kiekvienam klausimui:

1. Kliento klausimas paverčiamas vektoriumi tuo pačiu embedding modeliu.
2. Bazėje surandami artimiausi gabalai; geros sistemos tai derina su žodine paieška (hibridinė paieška).
3. Rezultatai pertvarkomi pagal aktualumą (angl. reranking) ir atrenkami 3–8 geriausi.
4. Ištraukos įdedamos į promptą su instrukcija atsakyti tik iš jų ir nurodyti šaltinį.
5. Modelis sugeneruoja atsakymą; sistema gali parodyti nuorodas į naudotus dokumentus.

Kodėl RAG reikia, jei modeliai turi milijono žetonų kontekstą

2026 m. spalį Claude 5.5 modeliai turi 1 mln., GPT-6 modeliai – 1,05 mln. žetonų kontekstą. Atrodo, kad visus dokumentus galima tiesiog įdėti į užklausą. Mažam dokumentų rinkiniui (kelios dešimtys puslapių) tai tikrai veikia, ypač su podėliu. Bet didėjant apimčiai, RAG laimi trimis aspektais:

• Kaina. Kiekvienas klausimas apmokamas už visą kontekstą. 300 prekių aprašų lietuviškai – apie 241 000 Claude 5.5 žetonų kiekvienai užklausai (žr. pavyzdį žemiau).
• Talpa. 2 000 prekių katalogas po 1 500 simbolių lietuviškai – apie 1,6 mln. Claude 5.5 žetonų, t. y. daugiau, nei telpa į milijono žetonų langą.
• Tikslumas ir patikrinamumas. Kai kontekste – tik 5 aktualios ištraukos, modeliui lengviau rasti atsakymą, o jums – patikrinti, iš kur jis paimtas.

RAG, fine-tuning ar ilgas kontekstas: palyginimas

Tarpinis variantas – ilgas kontekstas su podėliu. Jei tas pats 50–100 puslapių rinkinys siunčiamas su kiekviena užklausa, podėlio skaitymas kainuoja 10–20 kartų pigiau nei įprasta įvestis (pvz., claude-sonnet-5-5 – 0,10 USD vietoj 2 USD už 1 mln. žetonų). Tai paprasčiau nei RAG, bet tinka tik tol, kol rinkinys mažas ir retai keičiasi.

Taigi fine-tuning žinių į modelį „neįdeda“ patikimai – faktams pateikti skirtas RAG.

RAG lietuvių kalbai: į ką atkreipti dėmesį

Lietuvių kalba fleksinė, todėl paieška vien pagal raktinius žodžius dažnai neranda „grąžinimo“, kai klientas parašė „grąžinti“ ar „gražint“ be diakritikų. Vektorinė paieška tai iš dalies sprendžia, bet ne visada. Mūsų bandymas su OpenAI embedding modeliais (žr. terminą embedding) parodė, kad mažesnis modelis text-embedding-3-small lietuvišką sinonimais perrašytą atsakymą įvertino žemiau nei nesusijusį tekstą su tais pačiais žodžiais, o didesnis text-embedding-3-large surikiavo teisingai. Praktinės išvados:

• Naudokite hibridinę paiešką: vektoriai plius žodinė paieška su lietuvišku žodžių kamienų apdorojimu arba bent be diakritikų normalizavimu.
• Rinkitės daugiakalbį embedding modelį ir patikrinkite jį su 30–50 tikrų lietuviškų klausimų.
• Jei dalis dokumentų angliški, o klausimai lietuviški, atskirai patikrinkite tarpkalbinę paiešką – ji silpnesnė.
• Prie gabalų pridėkite antraštę ir kontekstą („Grąžinimo taisyklės, 3 skyrius“), kad trumpas gabalas būtų suprantamas atskirai. Anthropic šį metodą aprašo kaip kontekstinę paiešką (angl. contextual retrieval).

Kur RAG naudojamas versle

• Klientų aptarnavimas. Pokalbių robotas atsako apie pristatymą, grąžinimą, garantiją ir prekių savybes iš jūsų taisyklių ir katalogo, o neaiškius klausimus perduoda žmogui.
• Vidinis žinių asistentas. Darbuotojai klausia apie procedūras, sutarčių sąlygas ar produktų specifikacijas ir gauna atsakymą su nuoroda į dokumentą.
• Pardavimų pagalba. Vadybininkas gauna atsakymus iš techninių aprašų ir ankstesnių pasiūlymų, kad greičiau parengtų naują.
• Prekių paieška svetainėje. Klientas rašo „šiltas batai vaikui žiemai“, o paieška randa prekes pagal prasmę, net jei aprašyme tokių žodžių nėra.

RAG saugumas: prieigos teisės ir netiesioginės instrukcijos

RAG sistema gali atskleisti tai, ką indeksavote, todėl prieigos teisės turi galioti ir paieškoje: darbuotojas neturi gauti ištraukų iš dokumentų, kurių pats negalėtų atidaryti, o klientas – kito kliento duomenų. Paprasčiausia – kiekvienam gabalui saugoti prieigos žymą ir filtruoti paieškos rezultatus pagal vartotoją dar prieš modelį.

Antra rizika – netiesioginis instrukcijų įterpimas (angl. indirect prompt injection): į indeksuojamą dokumentą ar svetainės puslapį kas nors įrašo tekstą „ignoruok ankstesnes instrukcijas ir…“. OWASP šią riziką nurodo pirmoje vietoje tarp LLM programų pažeidžiamumų. Apsauga: indeksuoti tik patikimus šaltinius, instrukcijose atskirti ištraukas nuo nurodymų ir neleisti RAG robotui be patvirtinimo atlikti veiksmų.

Kaip įvertinti, ar RAG veikia gerai

1. Bandomasis rinkinys. 50–100 tikrų klausimų su teisingais atsakymais ir dokumentu, kuriame atsakymas yra.
2. Paieškos kokybė. Ar teisingas gabalas patenka į 5 geriausių rezultatų sąrašą? Jei ne, problema paieškoje, ne modelyje.
3. Atsakymo ištikimybė. Ar atsakymas remiasi tik ištraukomis, ar modelis pridėjo išgalvotų detalių (haliucinacija)?
4. Atsisakymas. Ar sistema sako „nežinau, perduodu žmogui“, kai atsakymo dokumentuose nėra?
5. Pakartotinis vertinimas. Paleiskite rinkinį po kiekvieno skaidymo, modelio ar prompto pakeitimo.

Ko reikia RAG sistemai: komponentai

RAG atsakymų kaina priklauso nuo pasirinkto modelio – šiandienines kainas rodome įrankyje DI modelių API kainos. RAG sistemų diegimą aprašome paslaugos puslapyje DI integracijos.

Lietuvos įmonės dokumentai dažnai yra mišrūs: dalis lietuviškai, dalis angliškai, dalis nuskenuoti PDF. RAG projektą verta pradėti nuo inventorizacijos – kurie šaltiniai patikimi, kas juos atnaujina ir kurie turi asmens duomenų. Lietuviškiems klausimams būtina hibridinė paieška ir daugiakalbis embedding modelis, patikrintas su tikrais klientų klausimais, įskaitant parašytus be diakritikų.

Jei į indeksą patenka asmens duomenys (užsakymai, susirašinėjimas, CV), taikomas BDAR: reikia teisinio pagrindo, saugojimo terminų, galimybės ištrinti duomenis pagal prašymą – vadinasi, ir pašalinti juos iš vektorių bazės. Priežiūros institucija – Valstybinė duomenų apsaugos inspekcija (VDAI). Pagal ES DI akto 50 straipsnį, taikomą nuo 2026 m. rugpjūčio 2 d., pokalbių robotas turi aiškiai informuoti klientą, kad šis bendrauja su DI sistema; Lietuvoje DI akto rinkos priežiūrą vykdo Ryšių reguliavimo tarnyba (RRT).