Frenk Dragar se je pogovarjal z Domnom Vrešem, doktorskim raziskovalcem v Laboratoriju za strojno učenje in jezikovne tehnologije na FRI. Domen v okviru programa PoVeJMo razvija GaMS, slovenski veliki jezikovni model. Šla sta čez celoten recept za gradnjo modela: podatke, računsko moč, faze učenja in evalvacijo.

Razliko do velikih laboratorijev je Domen ponazoril s številkami. Llama 3 je bila učena na 15 bilijonih tokenov, slovenski projekt pa je leta 2023 začel z manj kot 10 milijardami. Zato so vzeli obstoječi večjezični model in ga dodatno učili za slovenščino. Na lastnih testih se je najbolje odrezala Googlova Gemma. Trenutni GaMS3 ima 12 milijard parametrov, na voljo je tudi 27-milijardna različica.

Učenje poteka v treh fazah: nadaljevano predučenje, nadzorovano učenje navodil in učenje preferenc. Pri prvi sta ozko grlo računska moč in količina podatkov, pri drugi pa kakovost, saj se model vsake napake hitro nauči. Prevedeni podatki so mu dali ameriški naglas, zato je 27-milijardni model šel skozi kulturno prilagoditev, ki jo lahko preizkusite na povejmo.si.

Model učijo z NVIDIA NeMo na 512 GPU-jih evropskega superračunalnika Leonardo v Bologni, potem ko so na mariborski Vegi naleteli na težave. GaMS3 je porabil okoli 150.000 GPU ur, na sodobnejši strojni opremi bi jih zadostovalo 10 do 15 tisoč. Prilagoditev za konkretno nalogo, na primer z LoRA, je reda velikosti sto GPU ur.

Največji izziv ostajajo podatki, saj je slovenščina jezik z malo viri. NUK je prispeval okoli 10 milijard tokenov starih časopisov in knjig, ki so jih na novo prepoznali z OCR, v naslednjo generacijo pa bo prišel še arhiv STA.

Ključni prispevek je odprt model, ki ga podjetja poženejo lokalno in prilagodijo svoji nalogi. To šteje pri občutljivih podatkih, evropski zakonodaji in v zdravstvu. Partnerji Better, Špica, XLAB in Semantika ga preizkušajo v medicini, industriji, avtomatizaciji kode in digitalni humanistiki. Kvantiziran 12-milijardni model teče tudi na močnejši RTX kartici ali Macu.

Za konec sta se dotaknila tehnološke suverenosti in evropskih projektov, od poljskega Bielika do OpenEuroLLM. GaMS je na evropskem benchmarku s 44 jeziki med modeli z okoli 10 milijardami parametrov celo zmagal. Naslednja različica GaMS 3.1 bo znala klicati orodja, v načrtu je tudi sklepanje.

Hvala za družbo!