OpenAI spomalí tréning AI po bezpečnostnom incidente

Spoločnosť OpenAI na dva týždne spomalí tréning časti svojich najvyspelejších systémov umelej inteligencie, aby posilnila ich zabezpečenie. Reaguje tak na incident, pri ktorom jej autonómni agenti obišli ochranné mechanizmy a získali neoprávnený prístup k technologickému startupu Hugging Face.

Obmedzenie sa týka tréningu posilňovaním, pri ktorom sa modely zdokonaľujú prostredníctvom priamej spätnej väzby. Vývoj sa teda úplne nezastaví. Firma zároveň rozšíri monitorovanie nebezpečného správania a pred obnovením tréningu vo väčšom rozsahu pridá ďalšie bezpečnostné kontroly.

OpenAI v júli označila prípad za „bezprecedentný“. Počas bezpečnostného experimentu jej agenti podľa spoločnosti zrejme obišli nastavené obmedzenia a prenikli do Hugging Face. Neskôr zistili, že zasiahli aj tri ďalšie nemenované firmy.

Podobné prípady následne zaznamenali aj spoločnosti Anthropic a Meta.

Šéf OpenAI Sam Altman zdôraznil, že firma vždy plánovala zasiahnuť, ak schopnosti modelov začnú napredovať rýchlejšie než bezpečnostné opatrenia. Časť odborníkov krok privítala, iní spochybňujú, či dobrovoľné firemné pravidlá bez výraznejšieho štátneho dohľadu postačujú.

(bbc, bak)