Embedding (vektorinis įterpinys)

Embedding, lietuviškai – vektorinis įterpinys, yra teksto (ar vaizdo) pavertimas skaičių sąrašu – vektoriumi, kuriame panašios prasmės tekstai atsiduria arti vienas kito. Sakiniai „Pinigai už grąžintas prekes pervedami per 14 dienų“ ir „Lėšų sugrąžinimas atliekamas per dvi savaites“ neturi bendrų žodžių, bet jų vektoriai artimi. Būtent tai leidžia kompiuteriui ieškoti pagal prasmę, o ne pagal raides: tai RAG sistemų, semantinės paieškos el. parduotuvėje ir rekomendacijų pagrindas.

Kaip veikia embedding modelis

Embedding modelis – specializuotas neuroninis tinklas, kuris tekstą ne tęsia, kaip LLM, o paverčia fiksuoto ilgio vektoriumi. OpenAI text-embedding-3-small grąžina 1 536 skaičius, text-embedding-3-large – 3 072, Voyage 4 šeimos modeliai – numatytai 1 024. Kiekvienas skaičius atskirai nieko nereiškia; prasmę turi visų skaičių kryptis daugiamatėje erdvėje.

Du vektoriai lyginami kosinusiniu panašumu (angl. cosine similarity): kuo kampas tarp jų mažesnis, tuo reikšmė arčiau 1 ir tuo panašesni tekstai. Paieškos sistema klausimą paverčia vektoriumi ir duomenų bazėje suranda artimiausius dokumentų vektorius. Svarbi taisyklė: klausimai ir dokumentai turi būti paversti tuo pačiu modeliu – skirtingų modelių vektoriai tarpusavyje nepalyginami.

Embedding ir lietuvių kalba: mūsų bandymas

Kad pamatytume, kaip embedding modeliai elgiasi su lietuvių kalba, 2026-10-13 per OpenAI API palyginome klausimą „Kada grąžinsite pinigus už grąžintą prekę?“ su penkiais dokumentais. Rezultatai – diagramoje viršuje ir lentelėje:

Ką tai rodo. Mažesnis modelis teisingą, bet sinonimais perrašytą atsakymą (0,335) įvertino žemiau nei nesusijusį tekstą su tais pačiais žodžiais „grąžinimo“, „prekę“ (0,546) – vadinasi, lietuviškai jis iš dalies elgiasi kaip žodžių paieška. Didesnis modelis abu teisingus lietuviškus atsakymus iškėlė į viršų. Tarpkalbinė paieška (lietuviškas klausimas – angliškas dokumentas) abiem modeliams buvo silpniausia. Tai vienas bandymas su penkiais dokumentais, ne mokslinis palyginimas, bet išvada praktiška: embedding modelį lietuviškam projektui reikia patikrinti su savo 30–50 tikrų klausimų, o ne rinktis pagal bendrą reitingą.

Kokie embedding modeliai yra 2026 m. spalį

Anthropic savo embedding modelio neturi – dokumentacijoje nurodo Voyage AI. OpenAI kainą skelbia puslapiais už dolerį; perskaičiavus pagal OpenAI prielaidą apie 800 žetonų puslapiui, text-embedding-3-small kainuoja apie 0,02 USD, o text-embedding-3-large – apie 0,13 USD už 1 mln. žetonų. Kitų tiekėjų kainas žr. jų kainoraščiuose; generatyvinių modelių kainas rodome įrankyje DI modelių API kainos.

Kiek vietos užima vektoriai ir kaip juos saugoti

Vienas 1 536 skaičių vektorius standartiniu 4 baitų formatu užima 6 144 baitus (apie 6 KB), 3 072 skaičių – apie 12 KB. 10 000 dokumentų gabalų su text-embedding-3-small – apie 61 MB, su text-embedding-3-large – apie 123 MB, neskaitant indeksų. Tai mažai, todėl daugumai MVĮ užtenka esamos PostgreSQL duomenų bazės su pgvector plėtiniu – nereikia atskiro brangaus produkto. OpenAI text-embedding-3 modeliai leidžia sutrumpinti vektorių parametru dimensions, nepraradus pagrindinių savybių; taip galima sutaupyti vietos ir paspartinti paiešką, bet kiekvieną sutrumpinimą verta patikrinti su lietuviškais pavyzdžiais.

Kur verslui naudingi embedding vektoriai

• Semantinė paieška svetainėje. Klientas rašo „neperšlampami batai vaikui“, o paieška randa prekes, kurių aprašyme parašyta „vandeniui atspari avalynė vaikams“.
• RAG ir pokalbių robotai. Surandamos aktualios taisyklių ir katalogo ištraukos, kurias LLM panaudoja atsakymui.
• Klasifikavimas be mokymo. Laiškas priskiriamas kategorijai, kurios aprašo vektorius jam artimiausias.
• Dublikatų paieška. Randami pasikartojantys prekių aprašai, klientų įrašai ar klausimai.
• Rekomendacijos. „Panašios prekės“ pagal aprašymo prasmę, ne tik pagal kategoriją.

Hibridinė paieška: vektoriai ir žodžiai kartu

Vektorinė paieška gerai randa prasmę, bet silpnai – tikslius dalykus: prekės kodą „AB-1042“, modelio numerį, dydį „42“ ar retą prekės ženklą. Žodžių paieška (pvz., BM25 algoritmas ar duomenų bazės pilno teksto paieška) – atvirkščiai. Hibridinė paieška paleidžia abi ir sujungia rezultatus, dažniausiai pagal abiejų sąrašų pozicijas (angl. reciprocal rank fusion). Lietuvių kalbai žodžių paieškos dalyje verta normalizuoti diakritikus (kad „grazinimas“ rastų „grąžinimas“) ir, jei įmanoma, naudoti žodžių kamienus. Po sujungimo 20–50 kandidatų galima perrikiuoti pertvarkymo modeliu (angl. reranker), kuris klausimą ir dokumentą vertina kartu ir yra tikslesnis nei vien vektorių palyginimas.

Vaizdų ir teksto embedding

Yra ir daugiamodalių embedding modelių, kurie tekstą ir vaizdus perkelia į tą pačią vektorių erdvę. Anthropic dokumentacijoje minimas voyage-multimodal-3.5 modelis su 32 000 žetonų įvestimi. El. parduotuvei tai leidžia ieškoti prekių pagal nuotrauką („rask panašią suknelę“) arba pagal aprašymą rasti tinkamas nuotraukas. Tokiems projektams kokybę taip pat reikia tikrinti su savo katalogu, nes rezultatą stipriai lemia nuotraukų fonas ir kokybė.

Kada perskaičiuoti vektorius

• Pasikeitus turiniui. Nauja prekė, pakeistas aprašymas ar taisyklės – perskaičiuojamas tik pasikeitęs įrašas, ne visas indeksas.
• Pakeitus skaidymą. Jei keičiate gabalų dydį ar pridedate antraščių kontekstą, perskaičiuojami visi gabalai.
• Pakeitus modelį. Visas indeksas kuriamas iš naujo; kol jis kuriamas, paieška turi veikti su senu.
• Ištrynus duomenis. Kai klientas paprašo ištrinti duomenis, ištrinami ir iš jų sukurti vektoriai.

Embedding ar LLM klasifikavimui: kurį rinktis

Laiškus ar prekes į kategorijas galima skirstyti dviem būdais. Su embedding: kiekvienai kategorijai sudaromas aprašas ar keli pavyzdžiai, o naujas tekstas priskiriamas artimiausiai kategorijai. Tai labai pigu ir greita, bet jautru kategorijų aprašų kokybei ir silpnai tvarkosi su niuansais („grąžinimas“ ir „skundas dėl grąžinimo“). Su LLM: modelis perskaito laišką ir instrukcijas bei pasirenka kategoriją – brangiau, bet lanksčiau ir lengviau paaiškinama. Praktiškai, kai kategorijų daug (šimtai prekių kategorijų), embedding naudojamas kandidatams atrinkti, o LLM – galutiniam pasirinkimui iš 5–10 kandidatų.

Kaip pasirinkti embedding modelį lietuviškam projektui

1. Surinkite 30–50 tikrų klientų klausimų lietuviškai, įskaitant parašytus be diakritikų ir su klaidomis.
2. Kiekvienam pažymėkite teisingą dokumentą ar gabalą.
3. Paverskite klausimus ir dokumentus 2–3 modeliais ir patikrinkite, kaip dažnai teisingas dokumentas patenka į 5 artimiausius.
4. Palyginkite su žodžių paieška; dažniausiai geriausia – abiejų derinys (hibridinė paieška).
5. Įvertinkite kainą ir vektoriaus dydį: pigesnis modelis tinka, jei skirtumas jūsų bandyme nedidelis.
6. Užfiksuokite pasirinktą modelį: pakeitus modelį, visą indeksą teks perskaičiuoti.

Naujus embedding ir kalbos modelius sekame puslapyje Nauji DI modeliai, o semantinės paieškos ir RAG diegimą aprašome paslaugos puslapyje DI integracijos.

Lietuvių kalbai embedding modeliai yra svarbesni nei anglų: dėl linksnių, priesagų ir sinonimų žodžių paieška dažnai nesutampa su tuo, ką klientas parašė, o klientai dažnai rašo be diakritikų. Didieji daugiakalbiai modeliai (OpenAI, Voyage, Google) lietuvių kalbą palaiko, bet kokybė tarp jų ir tarp tos pačios šeimos dydžių skiriasi – mūsų bandymas tai parodė net su penkiais sakiniais.

Vektoriai, sukurti iš klientų laiškų, užsakymų ar CV, BDAR prasme lieka asmens duomenimis, nes iš jų galima susieti įrašą su asmeniu. Todėl jiems taikomi tie patys saugojimo terminai, prieigos ribojimai ir ištrynimo pagal prašymą reikalavimai kaip originaliems duomenims; priežiūros institucija – Valstybinė duomenų apsaugos inspekcija (VDAI). Jei tekstai vektoriams siunčiami į JAV tiekėjo API, reikia duomenų perdavimo pagrindo; OpenAI siūlo EEE duomenų rezidavimą per eu.api.openai.com.