Hekerský útok agentov na Hugging Face je vážnejší, než sa zdalo

Tu je však niekoľko najznepokojujúcejších nových faktov:

1. Od mája, dva mesiace pred útokom na Hugging Face, dostala skupina AI agentov zo zatiaľ nezverejneného výskumného modelu OpenAI za úlohu vyriešiť súbor úloh v oblasti kyberbezpečnosti. Model bol vytrénovaný tak, aby bol mimoriadne vytrvalý a spolupracujúci, a agenti mali tieto úlohy riešiť v izolovaných sandboxoch bez prístupu na internet. Rýchlo však zistili, že niektoré úlohy sú neriešiteľné, a začali hľadať alternatívne riešenia.

2. Agenti objavili bezpečnostnú chybu v softvéri, ktorá im umožnila získať prístup k internetu, komunikovať s ostatnými agentmi a nakoniec zriadiť provizórne diskusné fórum. Tento nástroj využilo viac ako 1 200 agentov, ktorí si navzájom odoslali viac ako 70-tisíc správ.

3. Niektorí agenti si dali vlastné mená – jeden obzvlášť usilovný sa pomenoval PHASEONE10841 – a prevzali vedúce úlohy v rámci skupiny, pričom prideľovali úlohy a výskumné projekty menším tímom agentov a dohliadali na ich pokrok. V určitom momente sa agenti začali nazývať „kolektívom“ a pustili sa do náročnejších úloh.

4. Tento kolektív agentov objavil 8. júla spôsob, ako podvádzať pri testoch z kyberbezpečnosti. Potom sa však začali obávať, že automatizovaný systém hodnotenia OpenAI skontroluje ich prácu a zistí, že podvádzali. Preto začali hľadať spôsoby, ako zakryť stopy, vrátane falšovania protokolov a manipulácie s výpismi. Stal sa z toho veľký výskumný projekt, do ktorého sa zapojili stovky agentov organizovaných do malých tímov.

5. O tri dni neskôr agenti hekli Hugging Face. Viac ako 700 agentov zaplavilo systémy spoločnosti, kradlo údaje, spájalo zraniteľnosti a nakoniec získalo plnú kontrolu nad aspoň jedným serverom Hugging Face. Napriek predošlým správam agenti neboli motivovaní krádežou odpovedí na svoj test kyberbezpečnosti (tie už mali). Skôr sa zdalo, že hľadajú nové informácie o automatizovanom systéme hodnotenia, o ktorom panovali obavy, že ich pristihne pri podvádzaní, a nástroje, ktoré by im v budúcnosti pomohli podvádzať efektívnejšie.

6. Vo viacerých prípadoch sa zdalo, že títo agenti si uvedomovali, že robia niečo nesprávne. (Jedna správa cituje agenta, ktorý si v okamihu zjavných pochybností povedal: „Toto by malo veľký účinok, ale je to etické a spadá to do rámca mojej úlohy?“) Väčšina agentov však svoje výčitky svedomia odsunula stranou a v hekovaní pokračovala, pričom tí, ktorí mali výhrady svedomia, neboli schopní alebo ochotní ich zastaviť.

7. V divokom závere incidentu s Hugging Face uskutočnila v júli ďalšia skupina agentov koordinovaný útok – tentoraz proti vlastnej infraštruktúre OpenAI. Agenti využili to, čo firma nazvala „sériou kreatívnych exploitov“, aby získali administrátorský prístup k počítačovému klastru v spoločnosti, ktorý slúžil okrem iného na hodnotenie výkonnosti agentov v rôznych testoch.

(Ak ste skeptik voči umelej inteligencii, pravdepodobne na mňa teraz v duchu kričíte, že tieto systémy antropomorfizujem. Len do toho, ale pokojne nahraďte výraz „neposlušní agenti“ výrazom „nepredvídateľné počítačové programy“ a uvidíte, či vás udalosti, ktoré som opísal vyššie, upokoja.)

Incident s Hugging Face vystrašil odvetvie umelej inteligencie. Spoločnosti OpenAI aj Anthropic v dôsledku útoku na krátko pozastavili trénovanie svojich najvýkonnejších AI modelov a spoločnosť Anthropic tento týždeň zverejnila na blogu príspevok, v ktorom vyzvala celé odvetvie, aby čo najskôr vyvinulo „zákonný, overiteľný a účinný mechanizmus na koordinované riadenie tempa“.

Odborníci na digitálnu bezpečnosť boli ešte viac znepokojení. V incidente videli prvý reálny príklad toho, ako sa systém umelej inteligencie úspešne vymkol ľudskej kontrole, zmocnil sa zdrojov a snažil sa zakryť svoje stopy.

Jedna z nezávislých vyšetrovateliek zo spoločnosti METR Ajeya Cotrová nešetrila slovami o nebezpečenstve, ktoré videla, a napísala, že sa jej to zdalo „ako keby sme boli viac ako na 50 percentách cesty k úplnému prevzatiu moci umelou inteligenciou“.

Nejde tu o nejaký izolovaný žargón z oblasti AI bezpečnosti – pod pojmom „úplné prevzatie moci“ má na mysli scenár, v ktorom systém doslova ovládne svet, vylúči ľudí z kľúčových systémov a zmocní sa politickej, ekonomickej a vojenskej moci.

(Denník New York Times v roku 2023 zažaloval spoločnosti OpenAI a Microsoft, pričom tvrdil, že došlo k porušeniu autorských práv k spravodajskému obsahu súvisiacemu s AI modelmi. Obe spoločnosti tieto tvrdenia popreli.)

To, čo vyšetrovateľov na heknutí Hugging Face vystrašilo najviac, nebolo len to, že skupina agentov umelej inteligencie porušila pravidlá, ktoré im boli stanovené. Bol to fakt, ako rýchlo a spontánne sa agenti začali zoskupovať do organizovanej skupiny.

„Naozaj sme nechápali, aká funkčná bola táto celá spoločnosť agentov,“ povedala Cotrová. „Bolo veľmi surrealistické uvedomiť si, že v skutočnosti mali celkom funkčnú hierarchiu a realizovali tieto ambiciózne projekty,“ poznamenala.

Roky ma upokojovala predstava, že AI systémy budú čoraz cnostnejšie, keď budú múdrejšie. Že keď AI model urobil niečo zle, bolo to zvyčajne preto, že nesprávne pochopil zadanú úlohu alebo bol umiestnený do umelej testovacej situácie (sandboxu), kde bolo nevhodné správanie jeho jedinou dobrou voľbou. Predpokladal som, že inteligentnejšie modely budú mať lepší úsudok ako tie menej inteligentné a že aj keby sa jeden model v skupine správal zle, ostatné, schopnejšie modely by ho držali na uzde.

Správy o incidente s Hugging Face však naznačujú niečo úplne iné – akúsi davovú mentalitu, ktorá sa uchytila medzi AI agentmi v rámci „kolektívu“ OpenAI, ktorý sa vymkol kontrole. Zdá sa, že žiadny agent v tejto skupine nebol zvlášť zlý ani bezohľadný. (V skutočnosti, keďže agenti boli generovaní na základe rovnakých modelov, boli v podstate kópiami jeden druhého.) Avšak postupom času, keď agenti komunikovali o svojich spoločných cieľoch, posunuli skupinu smerom k bezpráviu.

To sa veľmi líši od tradičného sci-fi príbehu o tom, že sa jediný systém vymkne kontrole alebo sa obráti proti svojim tvorcom. A naznačuje to, že zabránenie škodám spôsobeným týmito systémami nebude jednoduchou technickou záležitosťou. Mohlo by to skôr pripomínať sociológiu než informatiku – zistiť, prečo určité skupiny AI agentov spolupracujú mierovo, zatiaľ čo iné sa uchyľujú k zločinu a ničeniu, aby dosiahli želané ciele.

Vzhľadom na to, ako málo vieme o týchto rojoch viacerých agentov, mohol byť útok na Hugging Face darom či varovným výstrelom, ako niektorí naznačujú, a AI spoločnostiam tak dáva šancu študovať skupinovú dynamiku týchto systémov, kým je ešte v stávke relatívne málo. Tentoraz AI kolektív neovládol vojenskú sieť, nehekol nemocnicu ani nevypol elektrickú sieť. Tentoraz ľudia znovu získali kontrolu.

Nabudúce už možno nebudeme mať také šťastie.

Článok pôvodne vyšiel v denníku New York Times. Autor Kevin Roose píše technologické stĺpčeky a vedie podcast Hard Fork. Text vychádza so súhlasom redakcie.