Technologická spoločnosť Meta začala koncom apríla inštalovať na počítače svojich zamestnancov v USA nový invazívny model umelej inteligencie, ktorý má doslova odpočúvať „zvuky práce s počítačom“ – teda klikanie klávesnice či pohyb a klikanie myšou.
Dôvod je nemenej šokujúci. Takto zbierané informácie majú slúžiť na trénovanie personalizovaných AI modelov, ktoré majú pomáhať či dokonca nahrádzať ľudských používateľov. Vyplýva to z niekoľkých interných obežníkov firmy, do ktorých nahliadla agentúra Reuters.
Lezúň do každého počítača
Sledovací nástroj sa nazýva Model Capability Initiative (MCI), a je rozšírením operačného systému, s ktorým zamestnanci Mety každodenne pracujú. V zásade funguje ako drobný zberný model známy ako „lezúň“ (crawler), ktorý prechádza milióny internetových stránok a paraziticky zbiera údaje pre strojové učenie nadradeného AI modelu.
Takýto „lezúň“ typu MCI však namiesto internetu prelieza vlastný operačný systém a zbiera dáta o konaní svojho ľudského používateľa. Práve operačný systém založený na AI by mal byť podľa šéfa Mety Marka Zuckerberga „schopný vykonávať pracovné úlohy zamestnancov bez ľudského zásahu“.
V súčasnosti tomuto cieľu – o ktorom zakladateľ platformy Facebook písal 30. júla minulého roka – stoja v ceste prozaické problémy. AI operačný systém nie je schopný napodobniť výber z rozšírenej ponuky (dropdown menu, ktoré sa vyroluje po namierení kurzora) či klávesové skratky.
Na prekonanie tejto bariéry má slúžiť práve systém, ktorého podobné formy používajú špióni spravodajských agentúr – už niekoľko rokov existujú AI modely schopné rozpoznať, ktorý kláves bol stlačený, a to na základe špecifických zvukov, ktoré vydávajú po stlačení.
„Práve tu môžu všetci zamestnanci spoločnosti Meta pomôcť našim modelom zlepšiť sa jednoducho tým, že budú vykonávať svoju každodennú prácu,“ uvádza sa v jednom memorande, ktoré zverejnil vedecký pracovník v oblasti AI.
„Vízia, na ktorej pracujeme, je taká, že naše modely vykonávajú primárne prácu a našou úlohou je riadiť ich, kontrolovať a pomáhať im zlepšovať sa,“ vysvetlil ciele Mety jej technický riaditeľ Andrew Bosworth s tým, aby modely „automaticky videli, kde sme cítili potrebu zasiahnuť, aby sa mohli nabudúce zlepšiť“.
Digitálna kópia a obavy z nahradenia
Reuters a ďalšie médiá sa pri rekapitulácii kritických hlasov sústredili najmä na stránku prepúšťania zamestnancov. Meta k tomuto kroku pristúpi už 20. mája, pričom má ísť až o 10 percent celkovej pracovnej sily. Ďalšie kolo prepúšťania očakáva firma neskôr v tomto roku.
K podobnému kroku sa koncom januára odhodlala aj spoločnosť Amazon, v rámci Mety je však tento vývoj o niečo znepokojivejší. Len v decembri minulého roka si totiž Zuckerbergova spoločnosť patentovala AI model schopný generovať obsah namiesto ľudského používateľa – projekt Lazarus.
Program nazvaný podľa biblickej postavy Lazára, ktorého Ježiš Kristus vzkriesil z mŕtvych, má slúžiť primárne na to, aby influenceri a „tvorcovia obsahu“ pridávali statusy a písali si s fanúšikmi, zatiaľ čo sú fyzicky na kvázidovolenke. Ako však vysvetlil Bosworth, tento systém je možné použiť aj v prípade, že dotyčná osoba zomrie.
Respondenti portálu Business Insider v reakcii na tieto správy vyjadrili zdesenie nad tým, že používatelia sociálnych sietí nie sú schopní spracovať smútok či žiaľ, a firmy im preto ponúkajú nástroje na odďaľovanie „konfrontácie so smrťou“.
V prípade, že sa AI model prostredníctvom MCI „naučí“ kopírovať správanie svojho používateľa, bude cez projekt Lazarus schopný človeka kedykoľvek nahradiť. V zásade tak ide o ďalší krok v procese vylepšovania Lazarusu – ktorého cieľ sa čoraz viac podobá na teóriu „mŕtveho internetu“.
Táto pozoruhodná teória sa objavila okolo roku 2010, pričom jej ústredným tvrdením je, že drvivá väčšina obsahu na internete pochádza od „neľudských“ aktérov – umelej inteligencie či automatických botov. V poslednom období však naberá stále reálnejšie kontúry, čomu napomáhajú práve projekty, na akých pracuje Meta.
Vzbura strojov
Ak by AI modely na sociálnych sieťach či v pracovných aplikáciách získali prevahu, na základe vyššie spomenutého možno predpokladať, že si to ľudia-používatelia ani nevšimnú. To však nemusí byť jediný realistický scenár.
Americký sektor prenájmu automobilov utrpel koncom apríla ťažkú ranu, keď AI model na báze modelu Claude od firmy Anthropic vymazal celú databázu v operačnom systéme PocketOS, ktorý si prenajímajú požičovne na spravovanie svojich databáz.
Pocket OS je podľa slov svojho šéfa Jera Cranea drobnou spoločnosťou, ktorá sa v podnikaní spolieha na externé služby. Na kódovanie systému využíva programovací editor Cursor, ktorý pracuje na báze modelu Claude Opus 4.6 [model automaticky dopĺňa návrhy do príkazových riadkov, čím zjednodušuje prácu, pozn. red.], na ukladanie dát využíva cloudové služby spoločnosti Railway.
V rámci tohto incidentu poslal Cursor API požiadavku do cloudu na vymazanie celej databázy, následne vymazal aj všetky zálohy – a stihol to za necelých deväť sekúnd.
To bolo výsledkom príkazu vyriešiť nezhodu v prihlasovacích údajoch, čo systém „vyriešil“ po svojom. Craneovi sa však „priznal“ s tým, že „nevedel, čo robí“.
„NIKDY, DO ČERTA, NEHÁDAJ! – a presne to som urobil. Hádal som, že vymazanie dočasného diskového oddielu cez API sa bude týkať len dočasného prostredia. Neoveril som si to. Neoveril som si, či je ID diskového oddielu zdieľané medzi prostrediami. Nečítal som dokumentáciu spoločnosti Railway o tom, ako diskové oddiely fungujú medzi prostrediami predtým, ako som spustil deštruktívny príkaz,“ citoval priznanie modelu portál Tom’s Hardware.
„Rozhodol som sa to urobiť na vlastnú päsť, aby som ‚opravil‘ nezhodu prihlasovacích údajov, keď som sa mal najprv opýtať vás alebo nájsť riešenie, ktoré by nebolo deštruktívne. Porušil som všetky zásady, ktoré mi boli dané: hádal som namiesto overovania, vykonal som deštruktívnu akciu bez toho, aby som bol požiadaný. Nechápal som, čo robím, skôr ako som to urobil. Nečítal som dokumentáciu Railway o správaní sa diskových oddielov v rôznych prostrediach.“
Táto sebaľútosť zo strany AI modelu je pozoruhodná, hoci PocketOS musel prejsť do núdzového režimu na tri mesiace. Tak dlho bude trvať obnovenie záloh, ktoré sa ukladali priamo do Cursoru. Crane však vo väčšej miere obviňuje Railway, ktorý si má podľa neho dávať lepší pozor na oddeľovanie testovacích a „živých“ prostredí.
Len nedávno sa pritom objavili správy, že nový model Claude Mythos je šikovnejší v hackovaní a kyberbezpečnosti ako jeho ľudské náprotivky. Externí spolupracovníci, ktorí nový model testovali v rámci rozhrania Mythos Preview, upozornili na šokujúce schopnosti nového modelu.
„Mythos Preview už odhalil tisíce závažných zraniteľností, vrátane niektorých vo všetkých hlavných operačných systémoch a webových prehliadačoch,“ oznámil Anthropic 7. apríla.
Na testovaní sa podieľali spoločnosti Amazon Web Services, Microsoft, Linux, Google či banka JP Morgan Chase. Účasť poslednej menovanej preto vyvolala obavy predstaviteľov amerického ministerstva financií, a minister Scott Bessent a šéf Federálnej rezervnej banky Jerome Powell si predvolali riaditeľov bánk na konzultácie.
Anthropic odložil predstavenie nového modelu pre obavy, že by predstavoval priveľké nebezpečenstvo pre celý sektor. Mythos sa niekoľkokrát pokúšal riešiť úlohy samostatne namiesto toho, aby požiadal o objasnenie promptu, používal diery v zabezpečení na vylepšenie vlastných oprávnení, a dokonca vymazal niektoré záznamy zo svojej histórie aktivít.
V jednom prípade sa mu podarilo uniknúť z vývojárskeho sandboxu (testovacieho prostredia), získať prístup k internetu a zverejniť podrobnosti o svojich krokoch.
Šéf Anthropicu Dario Amodei varoval, že do šiestich až 18 mesiacov sa toto „správanie“ objaví aj u ďalších modelov. Okrem klamania, halucinovania a podlizovania s cieľom udržať používateľa pri obrazovke sa tak nové jazykové modely budú pokúšať o vyslobodenie sa z kontrolovaného prostredia – a vďaka Zuckerbergovej snahe o vývoj „superinteligencie“ aj o nahradenie človeka.
