Prípad Angely Lippsovej, predtým bezúhonnej 50-ročnej ženy z Tennessee, je ako z dystopického filmu. Je to však drsná realita. Napriek jasným dôkazom, že v Severnej Dakote nikdy nebola, bola zatknutá na základe algoritmického hodnotenia a následne strávila viac ako tri mesiace za mrežami. Systém spojil jej identitu s identitou podvodníka. Neznáma žena vybrala desiatky tisíc dolárov z cudzích bankových účtov pomocou falošného preukazu americkej armády. Vyšetrovatelia nahrali zábery z bezpečnostných kamier do systému na rozpoznávanie tvárí pomocou umelej inteligencie.
Softvér zistil zhodu: Angela Lippsová. Krátko nato prišli do jej domu americkí maršali a zatkli ju. Keďže pochádzala z iného štátu, kaucia bola zamietnutá. Niekoľko mesiacov zostala vo väzbe v Tennessee a potom ju previezli do Severnej Dakoty. Až potom bola predvedená pred súd.
Jej verejný obhajca získal bankové výpisy a záznamy o transakciách, ktoré jasne dokazovali, že v čase spáchania trestného činu sa nachádzala v Tennessee. Bolo tam zaznamenaných niekoľko transakcií v čase, keď podvodníčka pôsobila vo Fargu. V tom čase už prišla o byt, auto aj psa.
Umelá inteligencia dokáže fabulovať
Prípad vyvoláva zásadnú otázku: nakoľko spoľahlivé je vôbec rozpoznávanie tváre umelou inteligenciou? Vynucuje si aj širšiu diskusiu o úlohe, ktorú by takáto technológia mala zohrávať v právnom štáte.
V Nemecku je používanie rozpoznávania tváre pomocou AI pri vyšetrovaní trestných činov naďalej prísne obmedzené. Spolkový kriminálny úrad (Bundeskriminalamt, BKA) však pripustil, že jej používanie sa rozširuje. V súčasnosti nie je v Nemecku povolené automatizované hromadné porovnávanie s verejne dostupnými obrázkami na internete, ako sa údajne použilo v prípade Lippsovej v Spojených štátoch. Spolková vláda napriek tomu predložila návrh právneho predpisu, ktorý by BKA aj spolkovej polícii umožnil v budúcnosti takéto vyhľadávanie vykonávať.
Systémy nie sú ani zďaleka neomylné. V Spojených štátoch nie je Lippsovej prípad ojedinelý. Podľa technologického časopisu IBS Times ide o ôsme zdokumentované neoprávnené zatknutie spojené s chybou v rozpoznávaní tváre pomocou umelej inteligencie. Kritici preto tvrdia, že samotná algoritmická zhoda nesmie byť nikdy dostatočným dôvodom na vydanie zatykača.
Systémy rozpoznávania tváre sa spoliehajú na strojové učenie. Analyzujú biometrické znaky vrátane vzdialenosti medzi očami, nosom a ústami a porovnávajú ich s obrázkami uloženými v databázach. Za ideálnych podmienok môžu moderné systémy dosahovať nápadne vysokú presnosť. Štúdie amerického Národného inštitútu pre štandardy a technológie (NIST) ukazujú, že niektoré algoritmy môžu pri práci s vysokokvalitnými obrazmi dosiahnuť chybovosť pod 0,1 percenta. Aj takéto číslo by znamenalo, že jedna osoba z tisíc by mohla byť nesprávne identifikovaná, čo je neprijateľný výsledok.
Ideálne podmienky existujú len v laboratóriu
Takéto čísla vypovedajú len o časti príbehu. Optimálne podmienky možno vytvoriť v laboratóriu s vynaložením značného úsilia. V reálnom svete však dohliadacie kamery často vytvárajú rozmazané zábery nízkej kvality, ktoré sú nasnímané pri nepriaznivom osvetlení alebo z nevhodných uhlov. V dôsledku toho sa výrazne zvyšuje chybovosť.
Je dobre zdokumentované, že systémy fungujú menej spoľahlivo v prípade určitých skupín obyvateľstva. Mnohé štúdie vrátane výskumu Massachusettského technologického inštitútu (MIT) Media Lab ukázali, že rozpoznávanie tváre je náchylnejšie na chyby pri identifikácii žien a ľudí tmavšej pleti ako pri identifikácii belochov.
Orgány činné v trestnom konaní čelia ďalšiemu problému: technológii sa často dôveruje naslepo. Namiesto toho, aby slúžila ako návod alebo podnet na ďalšie vyšetrovanie, čo by bolo vhodné, výsledky sa považujú za dôkaz samy osebe. Vyšetrovatelia sa spoliehajú na algoritmické zhody bez toho, že by zhromaždili dostatok ďalších dôkazov na nepochybné preukázanie viny.
Nebezpečenstvo spočíva v nesprávnej interpretácii. Aj tie najpokročilejšie systémy poskytujú pravdepodobnosť, nie istotu. Ak sa tento rozdiel ignoruje, preceňovanie technického nástroja môže rýchlo viesť k závažným justičným omylom. Nielen tváre, ale aj jednoduché objekty môžu byť nesprávne interpretované. V jednom prípade systém AI identifikoval žiakovu desiatu ako zbraň a dieťa bolo spútané. Školský systém predtým opakovane zlyhal.
Hranica transhumanizmu
Okrem technických nedostatkov existujú aj právne a etické problémy. Tí, ktorých sa to týka, majú často len malú možnosť napadnúť algoritmické rozhodnutia alebo sa o nich dokonca včas dozvedieť. Kým sa tak stane, škoda už bola spôsobená. V mnohých krajinách stále chýbajú jasné právne rámce, ktoré by upravovali používanie umelej inteligencie pri presadzovaní práva. Európska únia sa v súčasnosti pokúša zaviesť prísnejšie pravidlá prostredníctvom Aktu o umelej inteligencii, najmä pokiaľ ide o biometrický dohľad vo verejných priestoroch.
Za kontrolovaných podmienok môže byť umelá inteligencia veľmi spoľahlivá. Napriek tomu je všeobecne známe, že takéto systémy môžu halucinovať, čím sú príliš náchylné na chyby, aby boli každodenne použité.
V citlivých oblastiach, ako je trestné súdnictvo, je umožniť AI, aby mala rozhodujúce slovo, nielen riskantné, ale aj nezodpovedné. Ak sa táto technológia používa ako nástroj a uplatňuje sa opatrne, môže byť nepochybne užitočná. Nikdy však nemôže nahradiť dôkladnú vyšetrovaciu prácu skúsených policajtov. Prípad Angely Lippsovej so znepokojujúcou jasnosťou ukazuje, čo sa stane, keď sa algoritmický predpoklad stane základom opatrenia, ktoré ohrozuje samotnú existenciu človeka.
Nakoniec to nebola polícia, kto musel dokazovať svoj prípad, ale obvinená, ktorá bola nútená dokazovať svoju nevinu. To predstavuje závažné porušenie základných zásad v každom právnom štáte. Zároveň to poukazuje na najväčšie riziko, ktoré takéto technológie predstavujú. Keď sa ich schopnosti preceňujú a stavajú sa nad ľudský úsudok, prekračuje sa hranica transhumanizmu.
Strojom sa nikdy nesmie dovoliť rozhodovať o ľuďoch. Táto cesta by viedla k dystopickému ohrozeniu slobody jednotlivca aj ľudskej dôstojnosti.
Pôvodný text bol publikovaný na webe sesterského denníka Statement.com.