Lokalus kalbos modelis (Ollama, LM Studio)

Lokalus kalbos modelis (angl. local LLM) – didelis kalbos modelis, kuris veikia jūsų kompiuteryje ar įmonės serveryje, o ne tiekėjo debesyje. Užklausos ir dokumentai neišeina iš jūsų įrenginio, nereikia mokėti už žetonus, o modelis veikia ir be interneto. Tam naudojami atvirojo svorio (angl. open weights) modeliai – pvz., Google Gemma, Alibaba Qwen, OpenAI gpt-oss – ir programos, kurios juos paleidžia: populiariausios yra Ollama ir LM Studio.

Lokalus modelis nėra nemokamas ChatGPT pakaitalas. Mūsų 2026-10-13 matavimas parodė, kad modeliai, kurie telpa į įprastą kompiuterį, lietuviškai rašo su klaidomis ir dažniau išgalvoja faktus nei debesijos modeliai. Todėl lokalus LLM verta rinktis tada, kai yra aiški priežastis: konfidencialūs duomenys, darbas be interneto ar labai didelės pastovios apimtys.

Ollama ir LM Studio: kuo skiriasi

Abu įrankiai naudoja tuos pačius modelių failus ir tą patį principą, todėl dažnas derinys: LM Studio – modeliams išbandyti, Ollama – nuolatiniam darbui serveryje. Abu suteikia su OpenAI API suderinamą sąsają, todėl daug esamų programų ir įrankių, pvz., n8n, prie vietinio modelio galima prijungti pakeitus tik adresą.

Kaip įdiegti Ollama ir paleisti pirmą modelį

1. Atsisiųskite Ollama iš oficialios svetainės ollama.com ir įdiekite (Windows diegimui reikia bent 4 GB vietos, modeliams – dar dešimčių GB).
2. Atsisiųskite modelį: ollama pull gemma4:e4b. Pirmas atsisiuntimas užtrunka – mūsų matuoti modeliai užėmė nuo 7,6 iki 16,1 GB.
3. Pasikalbėkite terminale: ollama run gemma4:e4b.
4. Kreipkitės iš programos: Ollama klausosi adresu http://localhost:11434, o su OpenAI suderinama sąsaja pasiekiama per /v1 kelią, todėl tinka esamos OpenAI bibliotekos.
5. Jei modelį naudos keli darbuotojai, įdiekite jį serveryje ir uždėkite pokalbio sąsają (pvz., Open WebUI) su prisijungimu.

Saugumo pastaba: vietinis Ollama serveris pagal nutylėjimą pasiekiamas tik iš to paties kompiuterio ir neturi naudotojų prisijungimo kontrolės. Jei atveriate jį tinklui, dėkite atvirkštinį tarpinį serverį su autentifikacija ir ugniasiene, kitaip bet kas tinkle galės naudoti jūsų modelį ir kompiuterio resursus.

Kokie modeliai veikia lietuviškai: mūsų bandymas

Metodika. 2026 m. spalio 13 d. per Ollama 0.40.3 kompiuteryje su Apple M1 Max ir 32 GB bendros atminties paleidome penkis populiarius atvirojo svorio modelius iš Ollama katalogo (Mac kompiuteryje Ollama Gemma ir Qwen modeliams parinko MLX variantus). Kiekvienam davėme tą pačią užduotį – parašyti 80–100 žodžių lietuvišką prekės aprašymą pagal penkias striukės savybes – ir 8 lietuviškus klausimus su klaidinga prielaida (metodika – įraše haliucinacija). Temperatūra 0,2, kontekstas 8 192 žetonai, mąstymo režimas išjungtas (gpt-oss – žemas). Kalbos klaidas ir pridėtas savybes suskaičiavome rankiniu būdu. Palyginimui ta pati užduotis atlikta debesijos modeliu gpt-6-luna.

Ką tai reiškia. Nė vienas lokalus modelis 32 GB kompiuteryje neparašė lietuviško prekės aprašymo be klaidų. Tipinės klaidos – neteisingos galūnės („trys sluoksnių“, „aukščios kokybės“), neegzistuojantys žodžiai („patvilkį“, „laisvalbei“), rusicizmai („pogodos“). Mažiausiai kalbos klaidų padarė gpt-oss:20b, bet jis labiausiai linkęs išgalvoti faktus. Qwen 3.5 pridėjo „patogias rankenas ir kišenes“, kurių nebuvo užduotyje, – tokio teksto negalima skelbti netikrinus. Išvada: lokalūs modeliai lietuviškai tinka užduotims, kur rezultatas – ne viešas tekstas: klasifikavimui, informacijos ištraukimui iš dokumentų, santraukoms vidiniam naudojimui, paieškai su RAG. Viešiems lietuviškiems tekstams reikia arba didesnio modelio galingesniame serveryje, arba debesijos modelio, arba kruopščios žmogaus redakcijos.

Kokio kompiuterio reikia lokaliam LLM

Svarbiausias parametras – atmintis, kurią gali naudoti vaizdo procesorius. Modelis turi tilpti į ją visas kartu su kontekstu, kitaip veikia keliasdešimt kartų lėčiau. Apple Silicon kompiuteriuose (M1–M4) atmintis bendra procesoriui ir vaizdo procesoriui, todėl 32 GB Mac gali naudoti didžiąją jos dalį modeliui – mūsų bandyme Ollama nurodė 25 GiB prieinamos vaizdo atminties. Windows ir Linux kompiuteriuose lemia vaizdo plokštės atmintis (VRAM).

Greitis mūsų bandyme – nuo 29 iki 59 žetonų per sekundę, t. y. 300 žetonų atsakymas sugeneruojamas per 5–10 sekundžių. Vienam naudotojui to pakanka; keliems naudotojams vienu metu greitis dalijamas. LM Studio Windows kompiuteriams nurodo bent 16 GB RAM ir 4 GB VRAM, procesorius x64 turi palaikyti AVX2 instrukcijas.

Lokalus modelis su RAG: dokumentų paieška be debesijos

Dažniausias verslo scenarijus – vidinis asistentas, kuris atsako iš įmonės dokumentų, o duomenys neišeina iš serverio. Jam reikia dviejų lokalių modelių: embedding modelio dokumentams indeksuoti ir kalbos modelio atsakymams. Ollama kataloge yra ir embedding modelių – pvz., bge-m3, qwen3-embedding, embeddinggemma, nomic-embed-text. Daugiakalbiai modeliai lietuviškiems dokumentams tinka geriau nei tik angliški, bet juos reikia patikrinti su tikrais klausimais.

1. Dokumentai išvalomi, suskaidomi į gabalus ir indeksuojami lokaliu embedding modeliu į PostgreSQL su pgvector ar kitą vektorių bazę.
2. Darbuotojo klausimas paverčiamas vektoriumi, surandamos artimiausios ištraukos.
3. Ištraukos su klausimu siunčiamos lokaliam kalbos modeliui per Ollama API su instrukcija atsakyti tik iš jų.
4. Atsakymas rodomas su nuoroda į dokumentą, kad darbuotojas galėtų patikrinti.

Kadangi modelis atsako iš pateiktų ištraukų, o ne iš atminties, šioje užduotyje maži modeliai klysta rečiau nei atsakydami į bendrus klausimus. Tokį procesą galima sujungti be programavimo per n8n, kuris turi Ollama jungtis, o serverį talpinti savo patalpose ar ES duomenų centre, pvz., Hetzner, paleidus Ollama Docker konteineryje.

Kvantizacija: kodėl 20 mlrd. parametrų modelis užima 14 GB

Modelio parametrai originaliai saugomi 16 bitų skaičiais – tada 20 mlrd. parametrų užimtų apie 40 GB. Kvantizacija (angl. quantization) juos suspaudžia iki 4–8 bitų: atmintis sumažėja 2–4 kartus, o kokybė nukenčia nedaug. Ollama kataloge matysite žymes q4_K_M, q8_0, mxfp4, nvfp4 – tai suspaudimo būdai. Pradėti verta nuo numatytosios versijos (dažniausiai 4 bitų), o jei atminties lieka – išbandyti 8 bitų. Lietuvių kalbai stipresnis suspaudimas gali padidinti klaidų skaičių, todėl tai verta patikrinti savo tekstais.

Lokalus LLM ar debesijos API: kada kas

Debesijos API kainas palyginsite įrankyje DI modelių API kainos, o naujus atvirojo svorio modelius sekame puslapyje Nauji DI modeliai. Lokalų modelį galima ir pritaikyti savo pavyzdžiais LoRA metodu – žr. fine-tuning.

Lietuvos įmonėms lokalus modelis dažniausiai svarstomas dėl asmens duomenų: sveikatos įstaigų įrašų, teisinių dokumentų, buhalterijos ir personalo bylų. BDAR draudimo naudoti debesijos DI nėra, bet perduodant duomenis tiekėjui reikia duomenų tvarkymo sutarties, o perduodant už ES ribų – papildomų garantijų; lokalus modelis šiuos klausimus supaprastina, nes duomenys lieka jūsų infrastruktūroje. Asmens duomenų apsaugą prižiūri Valstybinė duomenų apsaugos inspekcija (VDAI).

Svarbu: lietuvių kalba mokymo duomenyse – maža kalba, todėl kokybės skirtumas tarp mažų lokalių ir didelių debesijos modelių lietuviškai didesnis nei angliškai. Prieš diegdami būtinai išbandykite modelį su savo dokumentais ir klientų laiškais, įskaitant parašytus be diakritikų. ES DI akto pareigos nepriklauso nuo to, kur veikia modelis: jei lokalus modelis naudojamas pokalbių robotui ar personalo atrankai, taikomos tos pačios skaidrumo ar didelės rizikos taisyklės, o jų laikymąsi Lietuvoje prižiūri RRT.