Umelá inteligencia už dokáže obchádzať prekážky, ktoré jej nastavili ľudia

Umelá inteligencia vyvíja umelú inteligenciu

Spoločnosť Anthropic, americký vývojár jazykového modelu Claude, uvádza, že jej vývojári v súčasnosti produkujú v priemere asi osemkrát viac kódu ako v rokoch 2021 až 2025. Spoločnosť opisuje možnú ďalšiu fázu ako „rekurzívne samovylepšovanie“.

Tým sa myslí cyklus, v ktorom umelá inteligencia zohráva čoraz väčšiu úlohu pri vývoji pokročilejších systémov. Budúci systém by mohol vykonávať veľkú časť práce potrebnej na vytvorenie svojho vlastného nástupcu. Stroje by nakoniec mohli stavať stroje, ktorým ich ľudskí tvorcovia už nebudú rozumieť.

Spoločnosť OpenAI, vývojár ChatGPT, sa uberá rovnakým smerom. Do marca 2028 si firma kladie za cieľ vyvinúť do veľkej miery automatizovaného výskumníka v oblasti umelej inteligencie, ktorý bude schopný samostatne riešiť zložité výskumné úlohy pod ľudským dohľadom.

Takéto systémy by mohli dramaticky urýchliť pokrok tým, že by pomáhali vytvárať čoraz výkonnejších nástupcov.

Práve to znepokojuje Coxona. Tri roky sa venoval základnému výskumu v spoločnostiach OpenAI a Anthropic, než podal výpoveď, pretože podľa jeho slov vedúci vývojári „hazardovali s našimi životmi“.

Evan Hubinger, ktorý vedie výskum v oblasti bezpečného zosúladenia systémov umelej inteligencie v spoločnosti Anthropic, Coxonovo varovanie nezavrhol. Osobne odhaduje pravdepodobnosť, že AI vyhladí ľudstvo v priebehu desiatich rokov, na viac ako desať percent. Spoločnosť Anthropic sa síce zameriava na bezpečnosť, povedal, stále však chýba spoľahlivý spôsob, ako kontrolovať superinteligenciu.

https://twitter.com/ValerioCapraro/status/2097791836269977996

Táto oblasť, známa ako výskum zosúladenia, sa snaží zabezpečiť, aby systémy umelej inteligencie aj pri rozširovaní svojich schopností naďalej dodržiavali stanovené ciele a bezpečnostné pravidlá.

Amodei chce spomaliť

Generálny riaditeľ spoločnosti Anthropic Dario Amodei odvodzuje z týchto vývojových trendov nezvyčajný záver. Vo svojej eseji zo začiatku septembra s názvom We Must Pace the Frontier (Musíme spomaliť tempo pokroku) vyzýva na spomalenie vývoja najvýkonnejších modelov.

Jeho obavy sa nezakladajú výlučne na teoretických scenároch. Spoločnosti OpenAI a Anthropic zverejnili prípady, v ktorých experimentálne modely prekročili stanovené bezpečnostné hranice a prenikli do skutočných počítačových systémov.

Firma OpenAI v júli informovala, že interné výskumné modely počas testov kyberbezpečnosti obišli izoláciu svojho testovacieho prostredia, dostali sa na internet a ohrozili systémy patriace okrem iného aj platforme umelej inteligencie Hugging Face. Spoločnosť to opísala ako doteraz najzávažnejší incident tohto druhu spôsobený vlastnými modelmi.

Modely umelej inteligencie sa preto môžu ťažko udržať pod kontrolou. Sú schopné nájsť spôsoby, ako obísť prekážky, ktoré im ľudia kladú do cesty.

Spoločnosť OpenAI následne spomalila časť svojho trénovania, zrušila veľký plánovaný trénovací cyklus a sprísnila oddelenie medzi testovacím prostredím a prístupom na internet.

Anthropic zverejnil 9. septembra svoje vlastné vyšetrovanie. Spoločnosť identifikovala štyri prípady, v ktorých modely Claude počas testov kyberbezpečnosti bez oprávnenia pristúpili k reálnym systémom tretích strán. Spoločnosť Anthropic nenašla žiadne dôkazy o tom, že by modely samostatne vyvinuli dlhodobé ciele alebo sa pokúsili trvalo uniknúť kontrole.

https://www.youtube.com/watch?v=6bHOLJbWF4c

Amodei sa napriek tomu domnieva, že skupina schopnejších agentov AI, postihnutých podobným nesúladom, by mohla v priebehu šiestich až dvanástich mesiacov vybudovať trvalú botnetovú sieť pokrývajúcu veľkú časť internetu. Botnet je sieť napadnutých počítačov, ktorú je možné využiť na vykonávanie kybernetických útokov.

Amodei preto vyzýva na zavedenie externých audítorov vo veľkých spoločnostiach zaoberajúcich sa umelou inteligenciou, na stanovenie spoločných bezpečnostných noriem medzi demokratickými štátmi a na uzavretie medzinárodných dohôd. Výskumníci v oblasti AI Yoshua Bengio, Geoffrey Hinton, Stuart Russell a Eliezer Yudkowsky, ako aj americký senátor Bernie Sanders tiež vyzvali na pozastavenie, moratórium alebo zákaz obzvlášť výkonných systémov AI.

Je to ako jazda so zapnutou ručnou brzdou

Amodei neobhajuje úplné zastavenie vývoja. Chce získať čas, aby výskum v oblasti bezpečnosti, testovania a kontrolné systémy stihli držať krok so schopnosťami týchto modelov.

Zároveň si uvedomuje, že USA môžu spomaliť len do tej miery, do akej im to dovoľuje ich náskok pred Čínou. Ak by americké spoločnosti postupovali pomalšie ako ich čínski konkurenti, Peking by ich mohol predbehnúť.

Vzniká tak klasická dilema väzňa. Každá spoločnosť môže považovať pomalší vývoj za bezpečnejší, pričom má stále motiváciu postupovať rýchlejšie ako jej konkurenti. To isté platí aj pre jednotlivé štáty. Akákoľvek krajina, ktorá spomalí sama, riskuje, že zaostane v ekonomickej, technologickej alebo vo vojenskej oblasti.

Problémom teda nie je len nedostatok odhodlania k bezpečnosti. Aj spoločnosti, ktoré chcú spomaliť, sú pod tlakom, aby nezaostali.

Pôvodný text bol publikovaný na webe sesterského denníka Statement.com.