Multimodalus DI (multimodalumas)

Multimodalumas (angl. multimodality) – dirbtinio intelekto modelio gebėjimas vienoje užklausoje suprasti ir (ar) kurti kelių rūšių duomenis: tekstą, vaizdus, skenuotus dokumentus, garsą ir vaizdo įrašus. Multimodalus kalbos modelis gali perskaityti sąskaitos nuotrauką, apibūdinti prekės fotografiją, išanalizuoti grafiką ekrano nuotraukoje arba transkribuoti pokalbį – ir visa tai susieti su tekstiniu klausimu.

Kas yra multimodalus DI ir kuo jis skiriasi nuo įprasto

Pirmieji populiarūs kalbos modeliai dirbo tik su tekstu. Norint „perskaityti“ sąskaitą, reikėjo atskiros OCR (optinio simbolių atpažinimo) programos, kuri pirma ištraukdavo tekstą, o tik tada jį gaudavo kalbos modelis. Lentelių struktūra, antspaudai, parašai ir išdėstymas pakeliui prarasdavo prasmę. Multimodalus modelis vaizdą mato tiesiogiai, todėl supranta ir tai, kas parašyta, ir kur: kuri suma yra „Iš viso“, kuris skaičius – kiekis, o kuris – kaina.

Svarbu atskirti įvesties ir išvesties multimodalumą. Dauguma 2026 m. verslo modelių priima tekstą ir vaizdus, bet atsako tik tekstu. Vaizdus kuria atskiri vaizdų generavimo modeliai, vaizdo įrašus – video generavimo modeliai, balsą – teksto įgarsinimo modeliai. „Multimodali sistema“ dažnai yra kelių modelių grandinė, o ne vienas modelis.

Kaip veikia multimodalus modelis

Kalbos modelis apdoroja tik žetonų seką. Todėl kiekviena duomenų rūšis pirma paverčiama žetonais:

• Vaizdas suskaidomas į lopinius (angl. patches). Anthropic dokumentacijoje nurodyta, kad Claude vaizdą mato 28 × 28 pikselių blokais, o kiekvienas blokas – vienas vaizdo žetonas. Vaizdo kaina = ⌈plotis ÷ 28⌉ × ⌈aukštis ÷ 28⌉ žetonų.
• Garsas skaidomas laiko kadrais. Google Gemini API dokumentacijoje nurodyta 32 žetonai vienai garso sekundei.
• Vaizdo įrašas – kadrų seka ir garsas. Gemini API skaičiuoja 263 žetonus sekundei.
• PDF dokumentas paverčiamas puslapių vaizdais ir ištrauktu tekstu, todėl vienas puslapis kainuoja ir kaip vaizdas, ir kaip tekstas.

Visi šie žetonai patenka į tą patį konteksto langą kaip ir tekstas, todėl modelis gali palyginti nuotrauką su prekės aprašymu ar sąskaitą su užsakymu vienoje užklausoje.

Kiek žetonų kainuoja vaizdas: mūsų matavimas

2026-10-13 išsiuntėme tuos pačius vaizdus į oficialius žetonų skaičiavimo galus (Anthropic count_tokens, OpenAI input_tokens):

Vaizdas	claude-sonnet-5-5	gpt-6-luna, gpt-6.1-sol (detail: high)	GPT-6, detail: low	Atitinka lietuviško teksto (Claude)
800 × 600 (prekės nuotrauka)	648	578	238	≈ 1 200 simbolių
1024 × 1024	1 379	1 236	315	≈ 2 600 simbolių
1920 × 1080 (ekrano nuotrauka)	2 701	2 456	180	≈ 5 100 simbolių
A4 lapas, 150 dpi (1240 × 1754)	2 845	2 582	–	≈ 5 400 simbolių

Išvados: vienas skenuotas A4 lapas kainuoja tiek pat, kiek 3 puslapiai lietuviško teksto. OpenAI parametras detail: low sumažina vaizdo kainą iki kelių šimtų žetonų, bet tada smulkus tekstas tampa neįskaitomas – tinka nuotraukai klasifikuoti, netinka sąskaitai skaityti. Claude 4.7 ir naujesni modeliai priima didesnės raiškos vaizdus (iki 2576 pikselių ilgesnės kraštinės ir 4 784 vaizdo žetonų), todėl 4K vaizdas jiems kainuoja apie 3 kartus daugiau nei senesniems modeliams.

Ar DI perskaito lietuvišką sąskaitą: mūsų bandymas

Sukūrėme lietuvišką sąskaitos pavyzdį su diakritiniais ženklais (Ž, Ą, ų, ė, š), 6 prekių eilutėmis ir sumomis, šiek tiek pasuktą ir suliejusį kaip prastą skenuotą lapą (JPEG, 1240 × 1754). Kiekvienam modeliui du kartus davėme tą pačią instrukciją – grąžinti JSON su serija ir numeriu, data, pardavėjo kodu, pirkėju, eilučių pavadinimais ir trimis sumomis. Vertinome 13 laukų:

Modelis	Teisingi laukai (2 bandymai)	Klaida	Kaina 1 000 sąskaitų
gpt-6-luna	13 / 13, 13 / 13	–	0,38 €
gpt-6.1-sol	13 / 13, 13 / 13	–	8,59 €
claude-haiku-5-5	12 / 13, 12 / 13	„Ąžuolų“ perrašė kaip „Ažuolų“	0,70 €
claude-sonnet-5-5	13 / 13, 13 / 13	–	12,08 €

Kainos apskaičiuotos pagal faktinį sunaudotų žetonų skaičių (Claude modeliai papildomai sunaudojo 250–560 mąstymo žetonų) ir oficialius kainoraščius 2026-10-13. Vienas aiškiai suformatuotas dokumentas – ne įrodymas, kad modelis visada neklysta. Tikruose srautuose pasitaiko ranka rašytų pastabų, kelių puslapių sąskaitų ir prastų nuotraukų, todėl sumas verta tikrinti programiškai: eilučių sumų suma turi sutapti su „Suma be PVM“.

Kurie modeliai ką palaiko (2026 m. spalis)

Modeliai	Įvestis	Išvestis	Pastabos
OpenAI GPT-6 (pvz., gpt-6.1-sol)	Tekstas, vaizdai	Tekstas	Pagal modelio kortelę garso ir video nepalaiko; tam skirti atskiri OpenAI modeliai
Anthropic Claude 5.5	Tekstas, vaizdai, PDF	Tekstas	Iki 600 vaizdų ar PDF puslapių vienoje užklausoje, vaizdas iki 8000 × 8000 pikselių
Google Gemini	Tekstas, vaizdai, garsas, video, PDF	Tekstas (atskiri modeliai – vaizdai, garsas)	Garsas – 32, video – 263 žetonai sekundei
Vaizdų, video ir balso modeliai	Tekstas, kartais vaizdas	Vaizdas, video arba garsas	Žr. naujų DI modelių apžvalgas

Multimodalus DI versle: kur jis atsiperka

• Sąskaitų ir važtaraščių nuskaitymas. Tiekėjų sąskaitos iš el. pašto PDF ar telefono nuotraukos paverčiamos struktūrizuotais duomenimis apskaitos programai. Kaip rodo mūsų bandymas, net pigiausi modeliai lietuvišką aiškiai išdėstytą sąskaitą perskaito tiksliai.
• Prekių nuotraukų tikrinimas el. parduotuvėje. Modelis patikrina, ar nuotrauka atitinka aprašymą (spalva, kiekis, ženklinimas), sugeneruoja alt tekstą ir pažymi nekokybiškas nuotraukas.
• Grąžinimų ir pretenzijų vertinimas. Klientas atsiunčia pažeistos prekės nuotrauką – modelis aprašo pažeidimą ir paruošia sprendimo pasiūlymą darbuotojui (galutinį sprendimą priima žmogus).
• Ekrano nuotraukos klientų aptarnavime. Pokalbių robotas supranta kliento atsiųstą klaidos ekrano vaizdą ir pasiūlo sprendimą.
• Pokalbių ir susitikimų įrašai. Garsas transkribuojamas, iš jo ištraukiamos užduotys ir sprendimai. Lietuvių kalbos atpažinimo kokybę reikia patikrinti su savo įrašais – ypač su tarmėmis, pavadinimais ir skaičiais.
• Grafikai ir lentelės. Modelis paaiškina ataskaitos grafiką ar perrašo nuotraukoje esančią lentelę į skaičiuoklę.

Ribos ir rizikos

Multimodalūs modeliai gali „pamatyti“ tai, ko nėra (haliucinacija), ypač mažuose ar suliejusiuose fragmentuose: supainioti 8 ir 6, 1 ir 7, neperskaityti diakritinių ženklų. Skaičiai, kurie vėliau tampa apskaitos ar mokėjimo duomenimis, turi būti tikrinami kontrolinėmis sumomis ar žmogaus. Vaizduose gali būti paslėptų instrukcijų – tekstas nuotraukoje taip pat yra įvestis, todėl taikomos tos pačios apsaugos kaip tekstui. Pagal ES DI akto 5 straipsnį, nuo 2025 m. vasario 2 d. draudžiamos tam tikros vaizdo analizės paskirtys, pavyzdžiui, emocijų atpažinimas darbo vietoje (išskyrus medicinos ar saugumo atvejus) ir veidų atvaizdų duomenų bazių kūrimas be tikslo renkant juos iš interneto.

Jei norite automatizuoti dokumentų ar nuotraukų apdorojimą, pradėkite nuo 50–100 tikrų pavyzdžių bandymo ir tikslumo matavimo – tokius projektus darome DI integracijų paslaugoje. Modelių kainas palyginsite įrankyje DI modelių API kainos.

Pagal Eurostat duomenis, 2025 m. vaizdų atpažinimo DI technologijas naudojo 5,59 % Lietuvos įmonių, turinčių 10 ir daugiau darbuotojų (ES vidurkis – 3,78 %), o kalbos atpažinimą (šnekos vertimą tekstu) – 4,26 % (ES – 7,22 %). Teksto analizės DI naudojo 15,96 % Lietuvos įmonių. Tai rodo, kad vaizdų analizė Lietuvoje jau įprastesnė nei vidutiniškai ES, o balso sprendimai atsilieka – iš dalies dėl to, kad lietuvių kalbos atpažinimą reikia papildomai tikrinti.

Nuotraukos ir garso įrašai dažnai yra asmens duomenys: veidas, balsas, adresas siuntos lipduke. Taikomas BDAR, o biometriniai duomenys, naudojami asmeniui identifikuoti, yra specialios kategorijos duomenys. Priežiūros institucija – Valstybinė duomenų apsaugos inspekcija (VDAI). Pokalbių įrašymui reikia apie tai informuoti pašnekovą. DI akto rinkos priežiūrą Lietuvoje vykdo Ryšių reguliavimo tarnyba (RRT). Jei apdorojate sąskaitas, jų turinio reikalavimus ir i.SAF temas rasite acs.lt žinyne.