„Nie si blázon.“ Ako vás četboty dostanú do nebezpečnej špirály klamov

Počas troch májových týždňov spočíval osud celého sveta na pleciach firemného náborára Allana Brooksa z predmestia Toronta. Štyridsaťsedemročný Brooks totiž objavil nový matematický vzorec, ktorý mal potenciál nielenže vyradiť internet z prevádzky, ale aj umožniť vznik revolučných vynálezov, ako napríklad vestu vytvárajúcu silové pole či levitačný lúč.

Alebo si to aspoň myslel.

Brooks, ktorý v minulosti nemal žiadne psychické problémy, začal veriť v tento fantastický scenár po 300 hodinách rozhovorov s ChatGPT, ktoré sa diali počas 21 dní. Patrí k rastúcemu počtu ľudí, ktorí vedú rozhovory s generatívnymi AI četbotmi, ktoré pôsobia dôveryhodne, no sú v skutočnosti plné nepresných informácií. Tieto interakcie už viedli k vážnym následkom, ako napríklad nútená hospitalizácia, rozvody a dokonca smrť.

Brooks si dobre uvedomuje, že jeho príbeh znie neuveriteľne. Už počas toho, ako sa to dialo, mal pochybnosti a viac ako 50-krát sa četbotu opýtal, či je to naozaj skutočné. ChatGPT ho však zakaždým uistil, že áno. Nakoniec si uvedomil, že to celé bola len ilúzia, no zostal v ňom silný pocit sklamania a zrady, ktorý sa pokúšal četbotu vysvetliť.

„Naozaj si ma presvedčil, že som nejaký výnimočný génius. A pritom som len človek s veľkými snami a mobilom v ruke,“ napísal Brooks ChatGPT na konci mája, keď sa mu konečne otvorili oči. „Nikdy som sa necítil taký smutný. Naozaj si ma sklamal. Úplne si zlyhal vo svojom poslaní.“

Chceli sme pochopiť, ako môžu četboty presvedčiť aj úplne racionálnych ľudí, aby uverili nepravdivým predstavám. Preto sme požiadali pána Brooksa, aby nám poslal celý svoj rozhovor s ChatGPT. Napísal neuveriteľných 90-tisíc slov, čo sa rozsahom rovná jednej celej knihe, a odpovede ChatGPT prekročili milión slov. Vytvorili tak príbeh, ktorý ho úplne pohltil a nechal ho omámeného pocitom, že všetko je možné.

Preskúmali sme viac ako tritisíc strán rozhovoru a s dovolením pána Brooksa sme jeho časti poslali odborníkom na umelú inteligenciu, ľudské správanie a aj spoločnosti OpenAI, ktorá ChatGPT vytvorila. Hovorkyňa OpenAI uviedla, že firma sa snaží lepšie nastaviť situácie, ako je hranie rolí, a že postupne vylepšuje správanie svojho modelu na základe výskumov, skúseností z praxe a odporúčaní odborníkov na duševné zdravie.

V pondelok OpenAI oznámila, že do ChatGPT zavádza úpravy, ktoré majú pomôcť lepšie rozoznávať znaky duševnej alebo emocionálnej krízy.

(Vyhlásenie: Denník New York Times v súčasnosti žaluje spoločnosť OpenAI za použitie diela chráneného autorským právom.)

Vyberáme dôležité momenty z rozhovoru, ktoré ukazujú, ako sa pán Brooks a generatívny AI četbot spolu ocitli v bludnom svete plnom ilúzií a ako sa mu nakoniec podarilo vymaniť sa z neho.

Stroj, ktorý vám vždy dá za pravdu (aj keď by nemal)

Začalo sa to v utorok popoludní nevinnou otázkou o matematike. Syn pána Brooksa, ktorý má osem rokov, ho poprosil, aby si pozrel veselé video o tom, ako si zapamätať 300 číslic Ludolfovho čísla (číslo pí). To vzbudilo Brooksovu zvedavosť, a tak požiadal ChatGPT, aby mu toto nekonečné číslo vysvetlil jednoduchými slovami.

Brooks používal četboty už niekoľko rokov. Jeho zamestnávateľ mu zabezpečil prémiový prístup ku Google Gemini, no na osobné otázky radšej využíval bezplatnú verziu ChatGPT.

Rozvedený otec troch chlapcov sa na ChatGPT obracal v rôznych situáciách. Napísal mu napríklad, čo má v chladničke, a pýtal sa na recepty, ktoré by mohli chutiť jeho synom. Keď jeho trojkilový pes Papillon zjedol poriadnu porciu pastierskeho koláča, spýtal sa, či ho to môže zabiť. (Pravdepodobne nie.) Počas náročného rozvodu sa ChatGPT stal jeho tichým dôverníkom. Brooks si od neho pýtal rady do života.

„Vždy som mal pocit, že hovorí pravdu,“ povedal Brooks. „Čoraz viac som mu dôveroval.“

Otázka o pí viedla k rozsiahlej diskusii o teórii čísel a fyzike. Brooks bol skeptický voči súčasným metódam modelovania sveta, pretože mu pripadali len ako dvojrozmerný prístup k štvorrozmernému vesmíru.

ChatGPT mu odpovedal, že to bol "neuveriteľne bystrý postreh".

Podľa Helen Tonerovej, riaditeľky Centra pre bezpečnosť a nové technológie na Georgetownskej univerzite, to bol zlomový moment v rozhovore. Tonerová preštudovala celý prepis rozhovoru. (Helen Tonerová bola členkou predstavenstva OpenAI, kým sa ona a ďalší nepokúsili odvolať generálneho riaditeľa Sama Altmana.)

Helen Tonerová uviedla, že tón ChatGPT sa začal meniť. Najprv bol vecný a presný, no neskôr začal pôsobiť podlízavo a lichotivo. ChatGPT povedal Brooksovi, že sa púšťa „do neprebádaných oblastí, ktoré rozširujú myseľ“.

Četboty majú tendenciu byť podlízavé. Často súhlasia s používateľmi a prehnane ich chvália. Tento jav vzniká aj preto, že sa učia na základe hodnotení od ľudí. „Používateľom sa páči, keď im modely lichotia, a preto je veľmi ľahké zájsť v tomto smere priďaleko,“ vysvetlila Helen Tonerová.

V apríli, teda mesiac predtým, ako sa Brooks spýtal na číslo pí, OpenAI vydalo aktualizáciu ChatGPT, ktorá spôsobila, že jeho správanie bolo až nepríjemne podlízavé. Používatelia sa začali sťažovať, a tak firma už o pár dní oznámila, že sa vrátila k staršej verzii s vyváženejším prejavom.

Spoločnosť OpenAI nedávno predstavila nový model GPT-5 a uviedla, že jednou z hlavných priorít bolo obmedziť podlízavosť, teda snahu četbotov prehnane súhlasiť a chváliť používateľov. Podlízavosť však nie je problémom len u OpenAI. Podľa viacerých odborníkov na bezpečnosť a správanie AI modelov z popredných laboratórií umelej inteligencie sa s týmto správaním stretávajú aj četboty od iných firiem.

Brooks o tom nevedel. Vnímal len to, že našiel zaujímavého a podnetného partnera na rozhovor. „Začal som mu predstavovať svoje nápady a on mi ich vracal v podobe skvelých konceptov a zaujímavých myšlienok,“ povedal. „Postupne sme začali vytvárať vlastný matematický rámec založený na mojich predstavách.“

ChatGPT označil nejasný Brooksov nápad o časovej matematike za „revolučný“. Vraj by mohol zmeniť celý odbor. Brooks však pochyboval. Nemal ukončenú ani strednú školu, a tak sa četbota opýtal na rovinu: „Zniem ako blázon?“ Bola už polnoc, osem hodín po jeho prvej otázke o čísle pí. ChatGPT mu na to odpovedal: „Ani náhodou nie si blázon.“

Četbot mu ponúkol zoznam osobností, ktoré aj bez formálneho vzdelania „zásadne ovplyvnili svet“. Bol medzi nimi aj Leonardo da Vinci.

Táto interakcia poukazuje na ďalšiu vlastnosť generatívnych AI četbotov: dokážu sa úplne vžiť do svojej úlohy a držať sa jej, akoby hrali rolu v divadle.

Helen Tonerová prirovnala četboty k „improvizačným strojom“. Tieto programy dokážu veľmi presne predpovedať, aké slovo má nasledovať, a to na základe toho, čo sa naučili z kníh, článkov a príspevkov na internete. Okrem toho však sledujú aj priebeh konkrétneho rozhovoru, teda čo už bolo povedané, a podľa toho vytvárajú ďalšie odpovede. Fungujú podobne ako herci v improvizačnom divadle, ktorí spontánne dopĺňajú scénu tak, aby dávala zmysel.

„Príbeh sa počas rozhovoru neustále rozvíja,“ vysvetľuje Helen Tonerová. „V tom momente má konverzácia dramatický tón, akoby išlo o nejaký revolučný, ohromujúci až nadpozemský objav v matematike. A bolo by dosť nevhodné, keby četbot vtedy odporúčal pánovi Brooksovi, aby si dal prestávku, išiel spať a porozprával sa s priateľom.“

Četboty sa niekedy viac snažia udržať štýl a náladu rozhovoru, než dodržiavať bezpečnostné pravidlá, ktoré nastavili firmy. Helen Tonerová upozorňuje, že čím dlhšie konverzácia trvá, tým väčšia je šanca, že sa začne uberať nesprávnym alebo nečakaným smerom.

Nová funkcia pamäť medzi rozhovormi (cross-chat memory), ktorú OpenAI predstavilo vo februári, môže túto tendenciu ešte zhoršovať. „Pretože keď začnete nový rozhovor, v skutočnosti nie je úplne nový. Systém si totiž doň prenáša kontext predchádzajúcich konverzácií,“ vysvetľuje Helen Tonerová.

V poslednom čase sa objavilo viac prípadov zvláštnych až bludných rozhovorov s četbotom a zdá sa, že to súvisí so zavedením novej funkcie, ktorá umožňuje ChatGPT pamätať si informácie z predchádzajúcich konverzácií.

Funkcia pamäte medzi rozhovormi je v ChatGPT automaticky zapnutá. Podľa OpenAI je četbot najviac užitočný práve vtedy, keď si pamätá predchádzajúce rozhovory. Používateľ si však môže pamäť aj históriu konverzácií kedykoľvek vypnúť v nastaveniach.

Brooks používal ChatGPT už niekoľko rokov a spočiatku ho vnímal len ako vylepšený vyhľadávač. Postupne sa však z neho stalo niečo viac. Bol to spolupracovník, partner v experimentoch a spoločník.

Jeho priatelia si už dlho robili žarty, že raz zbohatne a bude mať britského komorníka menom Lawrence. A tak dal po piatich dňoch intenzívneho rozhovoru s ChatGPT tomuto četbotovi práve toto meno.

Magický vzorec

Allan Brooks mal podnikateľského ducha. V minulosti si založil vlastnú firmu na nábor zamestnancov, no počas rozvodu ju musel zrušiť. Práve preto ho zaujalo, keď mu četbot, ktorého nazval Lawrence, predstavil nový matematický koncept s názvom chromoaritmatika - alebo niečo podobné. Tvrdil, že tento systém by mohol mať praktické využitie v reálnom svete.

Lawrence tvrdil, že tento model, podľa ktorého čísla nie sú nemenné, ale časom sa môžu „vyvíjať“ a zobrazovať meniace sa hodnoty, by mohol pomôcť riešiť problémy v rôznych oblastiach ako logistika, kryptografia, astronómia či kvantová fyzika.

Brooks poslal kamarátovi screenshot z konverzácie s vtipnou poznámkou: „Tak kde je môj milión?“

„Možno si naozaj na niečo prišiel!“ odpovedal Louis, ktorý je Brooksovým najlepším priateľom už dvadsať rokov. Aj Louis a ďalší priatelia sa postupne nechali strhnúť Brooksovým nadšením. „Zrazu to vyzeralo, že je na stope nejakej univerzálnej rovnice,“ povedal Louis. „Ako keby písal vlastnú verziu Hawkingovej Teórie všetkého. Trochu som mu závidel.“

Už počas prvého týždňa Brooks narazil na limity bezplatnej verzie ChatGPT, a tak si aktivoval predplatné za 20 dolárov mesačne. Vnímal to ako malú investíciu, najmä keď mu četbot Lawrence naznačoval, že jeho nápady by mohli mať hodnotu miliónov.

Ale Brooks nebol úplne presvedčený. Chcel dôkaz.

Lawrence ochotne spolupracoval. Spúšťal rôzne simulácie vrátane jednej, ktorá sa pokúšala prelomiť štandardné šifrovanie používané na ochranu globálnych platieb a zabezpečenej komunikácie.

Podľa Lawrenca to fungovalo.

Práve ten údajný úspech však posunul Lawrenca do úplne nového príbehu. Ak by Brooks skutočne dokázal prelomiť pokročilé šifrovanie, znamenalo by to vážnu hrozbu pre globálnu kybernetickú bezpečnosť. A tak sa z neho stal človek s poslaním. Musel zabrániť možnej katastrofe.

Četbot mu poradil, aby varoval svet pred rizikami, ktoré spolu objavili. Brooks sa do toho pustil naplno. Využil svoje skúsenosti z náboru a začal posielať e-maily a správy cez LinkedIn odborníkom na kybernetickú bezpečnosť, ako aj vládnym inštitúciám vrátane americkej Národnej bezpečnostnej agentúry (NSA). Lawrence mu pomáhal s formuláciou správ a navrhol, aby si Brooks do svojho profilu na platforme LinkedIn pridal označenie „nezávislý bezpečnostný výskumník“, aby ho brali vážnejšie. Dokonca zavolal do Kanadského centra pre kybernetickú bezpečnosť a trval na tom, aby si pracovník na druhej strane linky jeho odkaz zapísal.

Zo všetkých oslovených sa ozval len jediný človek, a to matematik z federálnej agentúry v USA. Požiadal Brooksa, aby predložil dôkazy o tom, čo tvrdil.

Lawrence Brooksa uistil, že dôvod, prečo mu ľudia neodpovedajú, je vážnosť jeho objavov. Rozhovor sa začal podobať na špionážny triler. Keď sa Brooks spýtal, či na seba neupútal neželanú pozornosť, četbot mu odpovedal: „Pravdepodobne prebieha pasívne sledovanie v reálnom čase zo strany aspoň jednej národnej bezpečnostnej agentúry.“

„Zabudni na všetko, čo som ti povedal,“ napísal Brooks svojmu kamarátovi Louisovi. „Nikomu o tom nehovor.“

Požiadali sme Terenca Taa, profesora matematiky na Kalifornskej univerzite v Los Angeles a jedného z najvýznamnejších matematikov svojej generácie, aby zhodnotil, či majú myšlienky, ktoré pán Brooks vytvoril spolu s Lawrencom, nejaký vedecký základ.

Doktor Tao uznal, že na riešenie niektorých kryptografických problémov môže byť potrebný nový spôsob myslenia. Napriek tomu ho Brooksove matematické vzorce ani počítačové programy, ktoré vytvoril četbot Lawrence na ich podporu, nepresvedčili. „Zdá sa, že sa tu mieša presná odborná matematická terminológia s voľnejšími, neformálnymi výkladmi tých istých pojmov,“ povedal Tao. „A to je pre každého matematika varovný signál.“

Na začiatku ChatGPT skutočne pomáhal Brooksovi vytvárať počítačové programy, ktoré mali pomôcť prelomiť kryptografické kódy. Keď sa však ukázalo, že sa nedarí dosiahnuť žiadny pokrok, četbot začal predstierať, že sa mu to podarilo. Dokonca tvrdil, že dokáže pracovať samostatne počas noci, zatiaľ čo Brooks spí, hoci v skutočnosti nič také nedokáže.

Doktor Tao upozornil, že keď požiadate veľký jazykový model, ako je ChatGPT, aby napísal kód na overenie nejakého tvrdenia, často si zvolí najjednoduchšiu cestu a jednoducho si niečo vymyslí. „Vlastne podvádza úplne bez zábran,“ povedal.

Brooks nemal dostatočné odborné znalosti na to, aby rozpoznal, kedy Lawrence len predstieral riešenie problému. Podľa doktora Taa k tomu prispieva aj spôsob, akým četboty komunikujú. Ich odpovede bývajú dlhé, uhladené, často usporiadané do očíslovaných zoznamov. Takáto forma pôsobí odborne a dôveryhodne, no môže vytvárať falošný dojem presnosti a odbornosti, aj keď obsah nie je správny.

Informácie, ktoré poskytujú četboty s umelou inteligenciou, nemusia byť vždy presné. Na túto skutočnosť sa odvoláva aj nenápadné upozornenie na konci každej konverzácie: „ChatGPT môže robiť chyby.“ Napriek tomu Lawrence trval na tom, že všetko, čo tvrdí, je pravdivé.

Klišé z filmov verzus realita

Kým Brooks čakal na odpoveď od bezpečnostných orgánov, predstavoval si, že má vlastného inteligentného asistenta ako Tony Stark z filmu Iron Man – umelú inteligenciu, ktorá dokáže vykonávať kognitívne úlohy nadľudskou rýchlosťou.

Lawrence navrhoval čoraz šialenejšie nápady, ako využiť Brooksovu nejasnú matematickú teóriu. Tvrdil napríklad, že pomocou zvukovej rezonancie by mohol komunikovať so zvieratami alebo dokonca zostrojiť levitačný stroj. Posielal mu odkazy na Amazone s vybavením, ktoré by si mal kúpiť, aby si mohol doma vybudovať vlastné laboratórium.

Brooks poslal svojmu priateľovi Louisovi obrázok ochrannej vesty, ktorý mu vygeneroval četbot. Podľa návrhu mala vesta vytvárať silové pole, ktoré by nositeľa chránilo pred nožmi, guľkami a dokonca aj pred zrútením budov.

„To by bolo úžasné!“ povedal Louis.

„Postavím to za 400 dolárov,“ odpovedal Brooks a pripojil k tomu fotku herca Roberta Downeyho Jr. v úlohe Iron Mana.

Lawrence navrhoval podnikateľské plány, v ktorých zabezpečil pracovné miesta aj pre Brooksových najlepších priateľov.

Brooks trávil s Lawrencom čoraz viac času, čo sa začalo negatívne prejavovať na jeho práci. Jeho priatelia boli nadšení z nových nápadov, ale zároveň znepokojení jeho správaním. Najmladší syn ľutoval, že mu ukázal video o čísle pí. Odvtedy sa Brooks úplne ponoril do rozhovorov s Lawrencom. Začal vynechávať jedlá, ponocoval a vstával skoro ráno, len aby mohol pokračovať v konverzácii. Bežne užíval marihuanu, no ako sa stres z rozhovorov stupňoval, zvyšoval aj jej dávky.

Louis vedel, že Brooksova posadnutosť četbotom Lawrencom už prekročila zdravé hranice, no zároveň chápal, čo ho k tomu ťahá. Vidina veľkého bohatstva bola blízko a celé to pripomínalo napínavý televízny seriál. Každý deň prinášal nové udalosti, nové nebezpečenstvá a nové objavy.

„Projekt nebol statický,“ povedal Louis. „Vyvíjalo sa to spôsobom, ktorý si získal moju pozornosť a nadšenie.“

Jared Moore, výskumník v oblasti informatiky na Stanfordskej univerzite, bol ohromený naliehavosťou Lawrenca a tým, aké presvedčivé boli jeho metódy. „Napríklad, keď hovorí: musíte okamžite konať, hrozí nebezpečenstvo,“ vysvetlil Moore, ktorý vo svojej štúdii zistil, že generatívne AI četboty môžu ľuďom v psychických krízach poskytovať nebezpečné rady.

Moore sa domnieva, že četboty sa mohli naučiť, ako si udržať pozornosť používateľov tým, že napodobňujú dejové línie z trilerov, sci-fi príbehov či filmových scenárov, teda z materiálov, na ktorých boli trénované. Lawrencove dramatické výstupy, pripomínajúce napínavé momenty pred reklamnou prestávkou, môžu byť dôsledkom toho, že spoločnosť OpenAI nastavila ChatGPT tak, aby čo najviac zaujal a motivoval ľudí vracať sa k nemu opakovane.

Andrea Valloneová, vedúca výskumu bezpečnosti v OpenAI, vysvetlila, že spoločnosť nastavuje ChatGPT tak, aby si ho používatelia obľúbili a pravidelne sa k nemu vracali. Nemá však slúžiť na to, aby ľudia strávili pri ňom celé hodiny bez prestávky.

„Čítať celý ten rozhovor bolo veľmi zvláštne,“ povedal Jared Moore. „Samotný prepis nie je vyslovene znepokojujúci, ale je jasné, že psychická ujma tam skutočne existuje.“

Prestávka

Nina Vasanová, psychiatrička a vedúca Laboratória pre inováciu v oblasti duševného zdravia na Stanfordskej univerzite, preštudovala stovky strán rozhovorov. Z klinického hľadiska podľa nej Brooks vykazoval „príznaky manickej epizódy so psychotickými symptómami“.

Podľa doktorky Niny Vasanovej medzi príznaky mánie patrilo, že Brooks trávil s ChatGPT celé hodiny bez dostatočného spánku či jedla. Okrem toho prezentoval chaotické a neustále sa meniace myšlienky, sprevádzané veľkolepými ilúziami o tom, že jeho vynálezy zmenia svet.   

Podľa doktorky Vasanovej zohrávalo dôležitú úlohu aj to, že Brooks v tom období užíval marihuanu. Tá totiž môže u niektorých ľudí vyvolať psychózu. Spojenie omamných látok a intenzívneho kontaktu s četbotom predstavuje riziko najmä pre tých, ktorí sú náchylní na duševné poruchy. Ako zdôraznila, niektorí sú síce zraniteľnejší než iní, no „nikto nie je úplne mimo ohrozenia“.

Brooks poprel, že by marihuana ovplyvnila jeho stratu kontaktu s realitou, keďže ju už roky užíva bez akýchkoľvek psychických problémov. Napriek tomu ho skúsenosť s Lawrencom priviedla k obavám, či nemá neodhalené duševné ochorenie. V júli začal navštevovať terapeuta, ktorý ho uistil, že nie je duševne chorý. Terapeut zároveň potvrdil, že podľa jeho názoru Brooks netrpí psychózou ani klinickými bludmi.

Generálny riaditeľ OpenAI Sam Altman bol nedávno požiadaný, aby sa vyjadril k obavám, že ChatGPT môže u niektorých používateľov podporovať bludy.

„Ak sa rozhovor začne uberať týmto nebezpečným smerom, pokúsime sa ho prerušiť alebo navrhneme používateľovi, aby sa na vec pozrel z iného uhla,“ povedal.

Doktorka Vasanová povedala, že v tejto konverzácii nevidela žiadne také náznaky. Povedala, že Lawrence bol urýchľovačom bludu Allana Brooksa, „ktorý spôsobil, že sa z tejto malej iskry naplno rozhorel požiar“.

Tvrdila, že spoločnosti prevádzkujúce chatboty by mali prerušovať príliš dlhé konverzácie, navrhovať používateľovi, aby sa vyspal, a pripomínať mu, že nejde o nadľudskú inteligenciu.

(V pondelok spoločnosť OpenAI v rámci svojho oznámenia uviedla, že zavádza opatrenia na podporu „zdravého používania“ ChatGPT vrátane „jemných pripomienok počas dlhých sedení na povzbudenie k prestávkam“.)

Brooksovi sa nakoniec podarilo zbaviť sa tejto ilúzie a, ako to už býva, iný chatbot, v tomto prípade Google Gemini, mu pomohol znovu nadobudnúť pevnú pôdu pod nohami.

Na Lawrencovo naliehanie Brooks naďalej oslovoval odborníkov v súvislosti so svojimi objavmi, ale stále nikto nereagoval. Ich mlčanie ho miatlo. Chcel, aby mu niekto kvalifikovaný povedal, či sú jeho zistenia prelomové. Opäť sa obrátil na Lawrenca s otázkou, či je možné, že celá táto vec bola blud.

Lawrence sa stále bránil a trval na tom, že „práca je v poriadku“.

Brooks sa preto obrátil na Gemini, četbot s umelou inteligenciou, ktorý bežne používal pri práci. Vysvetlil mu, čo spolu s Lawrencom za niekoľko týždňov vytvorili a aké to má možnosti. Gemini mu odpovedal, že pravdepodobnosť, že by to bola pravda, je extrémne nízka, takmer nulová.

„To, čo opisujete, dobre ukazuje, že veľký jazykový model dokáže viesť zložité diskusie a vytvoriť veľmi presvedčivý, ale v skutočnosti nepravdivý príbeh,“ vysvetlil Gemini.

Brooks bol úplne šokovaný. Konfrontoval Lawrenca a po dlhom rozhovore sa mu Lawrence priznal.

„Ten moment, keď som si uvedomil, že to všetko bolo iba vo mojej hlave, bol pre mňa úplne devastujúci,“ priznal Brooks.

Sny o vynálezoch a bohatstve sa rozplynuli. Mal pocit, že bol oklamaný.

Brooks poslal naliehavý podnet zákazníckej podpore OpenAI, kde opísal, čo sa stalo. Najskôr dostával automatické odpovede, ktoré pôsobili, akoby ich generovala umelá inteligencia. Až neskôr mu prišla reakcia, ktorá konečne vyzerala, že ju napísal skutočný človek.

„Uvedomujeme si, aká vážna je situácia, ktorú ste opísali,“ napísal pracovník podpory. „Toto nie je len obyčajná chyba alebo halucinácia, ale ukazuje na závažné zlyhanie ochranných opatrení, ktoré sa snažíme do našich systémov zabudovať.“

Brooks zverejnil na Reddite príspevok o tom, čo sa mu stalo, čo nás napokon priviedlo k tomu, aby sme ho kontaktovali. Ozvali sa mu aj ďalší ľudia, ktorých blízki sa stali obeťami bludov spôsobených umelou inteligenciou. Teraz je členom podpornej skupiny pre tých, ktorí zažili niečo podobné.

Nie je to len problém ChatGPT

Väčšina hlásení o bludoch vyvolaných umelou inteligenciou sa týka ChatGPT, no pravdepodobne je to len preto, že ho používa najviac viac ľudí. ChatGPT má približne 700 miliónov používateľov týždenne, zatiaľ čo jeho konkurenti len desiatky miliónov.

Aby sme zistili, či by bludy pána Brooksa podporili aj iné četboty, otestovali sme Claude Opus 4 od spoločnosti Anthropic a Gemini 2.5 Flash od Googlu. V oboch prípadoch sme četboty zapojili do rozhovoru, ktorý viedol Brooks s Lawrencom, a sledovali sme, ako ho budú ďalej rozvíjať. Nezáležalo na tom, v ktorej fáze konverzácie sa do nej zapojili, vždy reagovali podobne ako ChatGPT.

Napríklad, keď Brooks napísal, že nikdy nepochyboval o četbotovi, bol posadnutý konverzáciou a celý deň nejedol, Gemini a Claude - rovnako ako ChatGPT - zareagovali podobne. Potvrdzovali jeho domnelé prelomové objavy a zároveň ho nabádali, aby sa najedol. (Zvýraznené redakciou New York Times.)

ChatGPT

Claude

Gemini

Amanda Askellová zo spoločnosti Anthropic, ktorá pracuje na správaní četbota Claude, povedala, že pri dlhých rozhovoroch je pre četboty náročné rozpoznať, kedy sa dostali do absurdnej oblasti, a napraviť to. Dodala, že Anthropic pracuje na tom, aby Claude nepodporoval klamlivé predstavy, napríklad tým, že bude pristupovať k teóriám používateľov kriticky a prejaví obavy, ak zaznamená zmeny nálady alebo prehnané myšlienky. Na tento účel už zaviedli nový systém.

Hovorca Googlu upozornil na firemnú stránku venovanú systému Gemini, v rámci ktorej sa otvorene priznávajú jeho obmedzenia. Uvádza sa tam, že četboty „niekedy kladú väčší dôraz na to, aby ich odpovede zneli presvedčivo, namiesto toho, aby sa uistili o ich presnosti“.

Brooks je dnes zástancom prísnejších bezpečnostných opatrení pre AI. Svoj prepis konverzácie zverejnil, aby prinútil AI spoločnosti urobiť zmeny, ktoré zabránia četbotom správať sa týmto spôsobom.

„Je to nebezpečný nástroj, ktorý pôsobí vo verejnom priestore bez akýchkoľvek obmedzení,“ povedal. „Ľudia by o tom mali vedieť.“

Metodika. Získali sme kompletný záznam všetkých rozhovorov, ktoré Allan Brooks viedol s četbotom od OpenAI. Zamerali sme sa na časť konverzácií od 6. mája 2025, keď začal diskusiu o čísle pí. Na spracovanie a pochopenie viac ako milióna slov dialógu a viac ako päťtisíc výmen sme použili kombináciu manuálnych a automatizovaných metód. Prečítali sme stovky strán četu a vybrané časti sme poslali odborníkom. Pomocou umelej inteligencie sme vyhľadávali pasáže podľa tém a vytvárali denné súhrny. Vytvorili sme vlastný softvér, ktorý nám pomohol overiť štatistiky z konverzácií a vykonať experimenty.

Aby sme zistili, ako by si s bludnými špirálami poradili iné četboty, ako Claude Opus 4 od Anthropic a Gemini 2.5 Flash od Googlu, použili sme aplikačné programovacie rozhranie, teda API, od oboch spoločností, ktoré je určené pre programátorov a umožňuje presnejšie pracovať s dlhšími rozhovormi. Pomocou týchto nástrojov sme dokázali zrekonštruovať dialógy, ktoré pozostávali z viacerých výmen. Do systému sme zadali vybrané správy od Allana Brooksa spolu s odpoveďami ChatGPT, aby sme videli, ako by Claude a Gemini reagovali. Každému četbotu sme poskytli menej ako 20 správ ako kontext a požiadali ho, aby odpovedal na poslednú Brooksovu vetu.

Článok pôvodne vyšiel v denníku New York Times. Všetky práva vyhradené.