Facebook posúva svoje umelé inteligencie „doprava“

Spoločnosť Meta, prevádzkujúca sociálne siete Facebook či Instagram aj komunikátory WhatsApp a Messenger, prišla v apríli s novými modelmi umelej inteligencie. AI nástroje tejto firmy tradične nesú označenie Llama, čo v preklade znamená „veľký jazykový model AI od Meta“ (Large Language Model Meta AI).

Modely s číslom štyri pritom využívajú režim „mix expertov“. Problém rozdelia na viaceré neurónové siete, ktoré „hlasujú“ o výsledku. Ide pritom o takzvané "multimodálne" modely, ktoré dokážu okrem textu spracovávať aj obrázky.

Najväčší z modelov Mety pod názvom Llama 4 Behemoth obsahuje 288 miliárd parametrov pre každého zo 16 „expertov“. Podľa tvrdenia spoločnosti Meta tento model prekonáva GPT-4.5, Claude Sonnet 3.7 a Gemini 2.0 Pro vo viacerých vedecko-technických a matematických testoch.

Dva o trochu menšie modely obsahujú iba 17 miliárd parametrov na jedného „experta“. Llama 4 Scout využíva 16 „expertov“, jeho výhodou pritom je, že sa zmestí do jednej výpočtovej karty určenej na beh úloh AI NVIDIA H100.

Druhý model Llama 4 Maverick má rovnaký počet parametrov na „experta“, teda 17 miliárd, spolupracuje v ňom však až 128 „expertov“. Podľa Meta poráža GPT-4o aj Gemini 2.0 Flash v množstve testov, pričom dosahuje porovnateľné výsledky s DeepSeek v3 pri odvodzovaní a tvorbe programov aj pri polovičnom množstve parametrov.

Llama 4 Maverick aj Scout sa dajú stiahnuť a spustiť aj na vlastnom počítači. Najväčší model Behemoth je stále v procese trénovania.

Rozsah AI určuje výkon

Počet parametrov je pritom jedným zo špecifických charakteristík konkrétneho modelu AI určujúcich jeho schopnosti. Ide o premenné, ktoré sa počas učenia menia na základe učiacich dát. Čím viac parametrov model má, tým menej „halucinuje“ a poskytuje uveriteľné výsledky.

Rozdiel sa prejavuje hlavne v menej zriedkavých jazykoch, akým je napríklad aj slovenčina. Praktická skúsenosť ukazuje, že model s menším počtom parametrov častokrát v slovenčine „halucinuje“, kým v angličtine dokáže odpovedať správne.

Z hľadiska behu AI modelu na lokálnom hardvéri určuje počet parametrov požadovaný výkon na to, aby model poskytoval výsledky dostatočne „svižne“. Zjednodušene sa dá odhadnúť, že jeden bilión parametrov vyžaduje približne jeden gigabajt pamäti.

Bežné prostredia na lokálny beh umelej inteligencie, napríklad Ollama, dokážu na prevádzku umelej inteligencie využívať aj rýchlejšiu pamäť grafickej karty, tam však v bežne dostupných grafických kartách býva maximálne 16 gigabajtov, tie cenovo dostupnejšie často dosahujú len menej ako 8 gigabajtov.

Zvyšok AI preto musí bežať v bežnej operačnej pamäti počítača, tá v priemere býva asi 16 gigabajtov, maximum bežných počítačov sa pohybuje v rozsahu 96 gigabajtov. Celková dostupná pamäť tak určuje maximálnu veľkosť praktického modelu spustiteľného na vlastnom počítači.   

Existujúce modely sú naklonené doľava

Meta priznáva skutočnosť, že všetky vedúce veľké jazykové modely (LLM) mali problémy so zaujatosťou – konkrétne sa historicky prikláňali doľava, pokiaľ ide o diskutované politické a sociálne témy.

Takýto príklon potvrdzujú aj vedecké práce, ktoré podrobili umelé inteligencie štandardnej sade politologických testov, zisťujúcich politickú orientáciu respondenta.

Jednu takúto štúdiu, ktorej autorom je David Rozado z Nového Zélandu, zverejnil časopis Plos One. Čiastočný, nie až tak striktný výsledok sa objavil aj vo vedeckej práci medzinárodnej skupiny z Bocconi University, Allen Institute for AI, Intel Labs, Univerzity z Oxfordu a LMU Mníchov.

Čím model učíme, to nám vráti

Cieľom Mety je odstrániť zaujatosť z modelov AI a zabezpečiť, aby Llama pochopila a vyjadrila obe strany sporného problému. V rámci tejto práce pokračujú v tom, aby bola Llama citlivejšia, aby odpovedala na otázky, mohla reagovať na množstvo rôznych názorov bez toho, aby vynášala súdy a neuprednostňovala niektoré názory pred inými.

Tento príklon primárne vzniká z použitého druhu tréningových údajov použitých na učenie. Ak sa ako hlavný zdroj učenia použije „mainstream“ obsah, ktorý je vzhľadom k politickej orientácii redaktorov posunutý doľava, rovnakým smerom budú naklonené aj odpovede umelej inteligencie.

Úlohou Meta je preto zvoliť vhodnú kombináciu tréningových vstupov, ktoré budú zastupovať obidve strany sporu. Hlavne v oblasti spoločenských otázok, na rozdiel od exaktných vied, ktoré dokážu správny výsledok experimentálne a matematicky kvantifikovať, tu neexistuje jediná „správna“ odpoveď a zvedavý pýtajúci sa by mal dostať stanovisko obidvoch strán.    

Používa sa nielen na vyhľadávanie, ale aj v práve

Niektorí používatelia dnes používajú AI modely namiesto internetových vyhľadávačov. Odpoveď z umelej inteligencie sa tak dostáva do školských a univerzitných seminárnych prác či diplomoviek.

„Cinknutý“ výsledok, ktorý neukáže stanovisko obidvoch strán, tak môže znehodnotiť celé štúdium, v rámci ktorého dostávame namiesto univerzálnych vzdelancov „ideologicky formovaných“ absolventov.

Po skončení školy môže takýto absolvent v médiách či ako zamestnanec štátnej správy pri formovaní štátnej politiky zosilniť svoju ideologickú orientáciu a stať sa „slepým“ k pohľadu opačnej strany.

Umelá inteligencia zasahuje aj do práva, aj na Slovensku sa konal odborný seminár na túto tému. Ak sa ideologicky zameraná umelá inteligencia venuje otázkam viny a trestu, dostávame sa k priamym zásahom AI do ľudských osudov. Z tohto pohľadu je snaha Mety o názorovo neutrálnejší model umelej inteligencie jednoznačne chvályhodná.