Tokenas (DI žetonas)

Tokenas, lietuviškai dar vadinamas žetonu (angl. token), – mažiausias teksto gabalėlis, kurį mato ir apmoka didelis kalbos modelis (LLM). Tai nėra nei raidė, nei žodis: angliškas žodis „order“ dažniausiai yra vienas žetonas, o lietuviškas „užsakymą“ GPT-6 modeliui skyla į keturis – „už“, „sak“, „ym“, „ą“. Visa DI API kaina, konteksto lango dydis ir atsakymo ilgio riba skaičiuojami būtent žetonais.

Kaip modelis suskaido tekstą į žetonus

Prieš patekdamas į modelį, tekstas praeina pro žetonų skaidytuvą (angl. tokenizer). Dauguma šiuolaikinių skaidytuvų naudoja baitų porų kodavimą (angl. byte pair encoding, BPE): mokymo metu algoritmas suranda dažniausiai kartu pasikartojančias simbolių sekas ir paverčia jas vienu žodyno vienetu. Dažnas žodis tampa vienu žetonu, retas – keliais, o labai retas skaidomas net į atskirus baitus.

Žodynas sudaromas iš mokymo duomenų, kuriuose anglų kalba sudaro didžiąją dalį. Todėl angliški žodžiai dažniausiai turi savo žetoną, o lietuviški – ne. OpenAI viešai skelbia savo skaidytuvų žodynus bibliotekoje tiktoken: cl100k_base naudojo GPT-4 ir GPT-3.5 karta, o200k_base – naujesni modeliai. Anthropic savo skaidytuvo nepublikuoja, bet suteikia nemokamą žetonų skaičiavimo API (count_tokens).

Pavyzdys su o200k_base: sakinys „When will you deliver my order?“ – 7 žetonai, o jo vertimas „Kada pristatysite mano užsakymą?“ – 12 žetonų. Žodis „grąžinimas“ skyla į penkis gabalus (gr | ą | ž | in | imas), nes raidės ą ir ž UTF-8 koduotėje užima po du baitus ir retai sutinkamos su kaimynėmis mokymo duomenyse.

Kodėl lietuviškas tekstas sunaudoja daugiau žetonų: mūsų matavimas

Kad nereikėtų remtis spėjimais, 2026 m. spalio 13 d. pasimatavome patys. Paėmėme du tipinius verslo tekstus – kliento užklausą el. parduotuvei ir paslaugų aprašymą – lietuviškai ir tą patį turinį angliškai. Žetonus skaičiavome oficialiais įrankiais: OpenAI tiktoken biblioteka (cl100k_base ir o200k_base), OpenAI API žetonų skaičiavimo galu /v1/responses/input_tokens modeliams gpt-6.1-sol ir gpt-6-luna bei Anthropic /v1/messages/count_tokens galu modeliams claude-opus-5-5, claude-sonnet-5-5, claude-haiku-5-5 ir claude-sonnet-4-6. Iš API rezultatų atėmėme pranešimo apvalkalo žetonus (OpenAI – 6, Anthropic – 7–8), kuriuos išmatavome išsiuntę vieną tašką.

Išvados iš lentelės. Pirma, tas pats turinys lietuviškai sunaudoja nuo 1,6 iki 2,3 karto daugiau žetonų nei angliškai, priklausomai nuo modelio. Antra, formalus tekstas su ilgais žodžiais („buhalterinės apskaitos“, „deklaracijas valstybinėms institucijoms“) skirtumą didina: antrame tekste GPT-6 santykis buvo 1,89, Claude 5.5 – 2,03, o pirmame, šnekamajame, – 1,49 ir 1,73. Trečia, skirtingi tiekėjai tą patį lietuvišką tekstą skaičiuoja labai skirtingai: Claude 5.5 modeliai jam suskaičiavo 559 žetonus, GPT-6 – 352, t. y. 59 % daugiau.

Paskutinis punktas svarbus lyginant kainas. Anthropic dokumentacijoje nurodo, kad Claude 4.7 ir vėlesni modeliai naudoja naują skaidytuvą, kuris tam pačiam tekstui sugeneruoja maždaug 30 % daugiau žetonų. Mūsų matavimas tai patvirtina: angliškam tekstui – +35 % (223 → 301), lietuviškam – +25 % (448 → 559). Todėl vienodos kainos už milijoną žetonų (pvz., 2 USD įvesčiai ir claude-sonnet-5-5, ir gpt-6.1-sol) nereiškia vienodos kainos už tą patį lietuvišką laišką.

Už kokius žetonus mokama: įvestis, išvestis, podėlis, mąstymas

• Įvesties žetonai (angl. input) – viskas, ką siunčiate modeliui: sisteminis promptas, pokalbio istorija, pridėti dokumentai, įrankių aprašai. Kiekvienoje užklausoje visa istorija siunčiama iš naujo, todėl ilgas pokalbis brangsta su kiekviena replika.
• Išvesties žetonai (angl. output) – modelio atsakymas. Jie 5 kartus brangesni už įvestį ir pas OpenAI, ir pas Anthropic (pvz., claude-sonnet-5-5 – 2 ir 10 USD už 1 mln.).
• Podėlio žetonai (angl. prompt caching) – pakartotinai siunčiama ta pati užklausos pradžia. Skaitymas iš podėlio kainuoja dešimtadalį ar mažiau bazinės kainos (claude-sonnet-5-5 – 0,10 USD vietoj 2 USD), o įrašymas į podėlį – brangiau nei įprasta įvestis.
• Mąstymo žetonai (angl. reasoning / thinking tokens) – modeliai, kurie prieš atsakydami „galvoja“, sugeneruoja vidinių žetonų, ir jie apmokami kaip išvestis, net jei galutiniame atsakyme nesimato.
• Įrankių žetonai – funkcijų ir MCP įrankių aprašai bei jų grąžinami rezultatai keliauja į kontekstą kaip įvestis.

Šiandienines kainas už milijoną žetonų visiems pagrindiniams modeliams rodome įrankyje DI modelių API kainos, o apmokėjimo mechaniką plačiau aprašome termine DI API.

Konteksto langas: kiek žetonų telpa į vieną užklausą

Konteksto langas (angl. context window) – didžiausias įvesties ir išvesties žetonų kiekis vienoje užklausoje. 2026 m. spalio 13 d. oficialioje dokumentacijoje Claude Opus 5.5, Sonnet 5.5 ir Haiku 5.5 turi 1 mln. žetonų langą ir iki 128 tūkst. išvesties žetonų, GPT-6 Astra, GPT-6.1 Sol ir GPT-6 Luna – 1,05 mln. žetonų langą ir 128 tūkst. išvesties. Lietuviškai tai reiškia apie 1,9 mln. simbolių Claude 5.5 modeliams ir apie 3 mln. simbolių GPT-6 – pagal mūsų išmatuotą simbolių ir žetonų santykį.

Didelis langas nereiškia, kad jį verta pildyti. Kaina auga tiesiškai su žetonais, o kai kurie modeliai ilgam kontekstui taiko aukštesnį tarifą: pvz., claude-haiku-5-5 užklausoms virš 100 000 žetonų įvestis kainuoja 0,50 USD vietoj 0,10 USD už 1 mln., OpenAI kainoraštyje GPT-6 modeliai turi atskiras „trumpo“ ir „ilgo“ konteksto kainas. Kai reikia daug dokumentų, dažniausiai pigiau naudoti RAG ir į kontekstą dėti tik aktualias ištraukas.

Kaip suskaičiuoti žetonus prieš siunčiant užklausą

1. OpenAI modeliams – Python bibliotekoje tiktoken pasirinkite o200k_base koduotę. Mūsų matavimu, ji tiksliai sutapo su API galu /v1/responses/input_tokens modeliams gpt-6.1-sol ir gpt-6-luna. Tikslų skaičių su visu apvalkalu ir įrankiais grąžina pats API galas.
2. Claude modeliams – siųskite tą patį užklausos turinį į /v1/messages/count_tokens. Šis galas nemokamas, bet turi užklausų dažnio ribas. Senąja Claude Sonnet 4.6 ar tiktoken apskaičiuotu skaičiumi Claude 5.5 modeliams remtis negalima – rezultatas bus 20–40 % per mažas.
3. Po užklausos – kiekvienas API atsakymas grąžina usage laukelį su faktiniais įvesties, išvesties ir podėlio žetonais. Būtent jį verta rašyti į žurnalą ir iš jo skaičiuoti mėnesio sąnaudas.
4. Greitas apytikslis skaičiavimas lietuviškam tekstui – 1 000 simbolių ≈ 330 žetonų GPT-6 modeliams ir ≈ 530 žetonų Claude 5.5 modeliams. Angliškam tekstui atitinkamai ≈ 200 ir ≈ 285. Biudžetui palikite 15–20 % atsargą.

Kaip sumažinti žetonų sąnaudas lietuviškame projekte

• Instrukcijas rašykite angliškai, atsakymą prašykite lietuviškai. Sisteminis promptas siunčiamas su kiekviena užklausa; mūsų matavimu, angliškas jo variantas sutaupo 39–46 % įvesties žetonų. Atsakymo kalbą nurodykite aiškiai: „Answer in Lithuanian“.
• Naudokite podėlį. Pastovią užklausos dalį (instrukcijas, katalogo santrauką, įrankių aprašus) dėkite pradžioje ir pažymėkite podėliui – pakartotinis skaitymas kainuoja 10–20 kartų pigiau.
• Ribokite istoriją. Po 6–10 replikų senesnę pokalbio dalį pakeiskite trumpa santrauka.
• Ribokite išvestį. Nustatykite max_tokens / max_output_tokens ir prašykite struktūrinio atsakymo (JSON su keliais laukais), kai tekstas nereikalingas.
• Rinkitės modelį pagal užduotį. Klasifikavimui ir ištraukimui dažniausiai pakanka pigiausios šeimos (gpt-6-luna, claude-haiku-5-5), kurių kaina 20 kartų mažesnė nei vidutinių modelių.
• Nesiųskite HTML. Puslapio žymės, stiliai ir skriptai suvalgo žetonus; prieš siųsdami paverskite tekstą švariu tekstu ar Markdown.

Tokenas DI ir kripto tokenas – ne tas pats

Žodis „tokenas“ lietuviškai vartojamas ir kriptovaliutų pasaulyje, kur jis reiškia blokų grandinėje išleistą skaitmeninį turtą. DI kontekste tokenas yra tik teksto skaidymo vienetas ir apskaitos matas – jo negalima nei nusipirkti atskirai, nei perleisti. Kai tiekėjas rašo „1 mln. tokenų – 2 USD“, tai kainoraščio eilutė, ne turtas.

Naujų modelių skaidytuvai gali skaičiuoti lietuvišką tekstą kitaip, todėl pasirodžius naujam modeliui (žr. Nauji DI modeliai) verta pasimatuoti iš naujo. Sąnaudų matavimą ir optimizavimą atliekame kaip DI integracijų dalį.

Lietuvių kalba yra fleksinė: vienas daiktavardis turi iki 14 formų, o veiksmažodžiai – dešimtis. Skaidytuvų žodynuose pilnų lietuviškų žodžių formų mažai, todėl modelis jas renka iš dalių, o raidės ą, č, ę, ė, į, š, ų, ū, ž UTF-8 koduotėje užima po du baitus. Tai ir yra pagrindinė priežastis, kodėl lietuviškas DI projektas tuo pačiu modeliu kainuoja 1,6–2 kartus brangiau nei angliškas.

Praktiškai Lietuvos įmonėms tai reiškia tris dalykus: biudžetą reikia skaičiuoti iš lietuviškų pavyzdžių, ne iš anglų kalbos taisyklių; instrukcijas verta laikyti angliškai, o klientui skirtą tekstą – lietuviškai; modelius lyginti reikia pagal kainą už jūsų tipinę užduotį. DI API sąskaitos išrašomos JAV doleriais, todėl eurais galutinė suma dar priklauso nuo valiutos kurso. PVM klausimai užsienio paslaugoms aiškinami acs.lt žinyne.

Jei per DI sistemą keliauja klientų asmens duomenys, žetonų skaičius nesvarbus BDAR prasme – svarbu, kur ir kiek laiko tiekėjas saugo įvestį. Tai aprašome termine DI API.