Zprávy

7619 👾 Diktátoři by se měli bát AI Yuval Noah Harari [ Ezoterika ] 2024-09-03
Z dlouhodobého hlediska je pravděpodobné, že

Totalitní režimy budou čelit ještě většímu nebezpečí: místo toho, abychom je kritizovali, algoritmus by je mohl ovládat. . . Umělá inteligence je nejmocnější technologií, jakou kdy lidstvo vytvořilo, protože je to první technologie, která dokáže sama rozhodovat a vytvářet nové nápady. Atomová bomba nemůže rozhodnout, na koho zaútočit, ani nemůže vymyslet nové bomby, nebo nové vojenské strategie. Na druhou stranu umělá inteligence se může sama rozhodnout zaútočit na konkrétní cíl a může vymýšlet nové bomby, nové strategie a dokonce i nové umělé inteligence. Nejdůležitější věcí, kterou je třeba vědět o umělé inteligenci, je, že to není nástroj v našich rukou: je to autonomní agent. Samozřejmě i nadále definujeme cíle pro umělou inteligenci. Problém je však v tom, že při sledování cílů, které jí dáváme, by umělá inteligence mohla přijmout nepředvídané dílčí cíle a strategie, které by mohly mít nepředvídané a potenciálně velmi škodlivé důsledky.

Například v posledních letech daly společnosti sociálních médií jako Facebook, YouTube a Twitter svým algoritmům umělé inteligence zdánlivě jednoduchý cíl: Zvyšte zapojení uživatelů. . . Čím více času uživatelé strávili na sociálních sítích, tím více peněz tyto společnosti vydělaly. Ve snaze dosáhnout cíle "zvýšit zapojení uživatelů" však algoritmy učinily zlověstný objev. Experimenty s miliony lidských pokusných králíků se algoritmy naučily, že rozhořčení vyvolává angažovanost. . . Pokud dokážete stisknout tlačítko hněvu, strachu, nebo nenávisti v mysli lidské bytosti, upoutáte její pozornost a udržíte ji přilepenou k obrazovce. Algoritmy proto začaly záměrně šířit rozhořčení, což je jeden z hlavních důvodů současné epidemie konspiračních teorií, fake news a sociálních nepokojů, které podkopávají demokracie po celém světě. Manažeři Facebooku, YouTube a Twitteru tento výsledek nechtěli. Mysleli si, že zvýšení rozhořčení uživatelů zvýší jejich zisky, a nepředpokládali, že se také zvýší sociální chaos. Tato sociální katastrofa byla výsledkem nesouladu mezi hlubokými zájmy lidských společností a strategiemi přijatými umělou inteligencí. V odborném žargonu je to známé jako "problém přizpůsobení". . .

Když stanovíme cíl pro agenta AI, jak si můžeme být jisti, že strategie přijaté umělou inteligencí budou skutečně v souladu s našimi konečnými zájmy? Problém přizpůsobení se samozřejmě není nový ani se netýká pouze umělé inteligence. Tížil lidstvo tisíce let před vynálezem počítačů. Jednalo se například o základní problém moderního vojenského myšlení, který byl zakotven v teorii války Carla von Clausewitze. Clausewitz byl pruský generál, který bojoval během napoleonských válek. Ve své knize "O válce" (1832-1834) Clausewitz vytvořil racionální model pro pochopení války a ten zůstává dominantní vojenskou teorií dodnes. Jeho základní zásadou je, že: "Válka je pokračováním politiky jinými prostředky. "Z toho vyplývá, že válka není o emocionálním výbuchu, hrdinském dobrodružství, nebo božím trestu. Válka není ani vojenským fenoménem, ale spíše politickým nástrojem. Podle Clausewitze jsou vojenské akce absolutně iracionální, pokud nejsou v souladu s dominantním politickým cílem. Historie je plná velkých vojenských vítězství, která vedla k politickým katastrofám. S Napoleonovou válkou měl Clausewitz nejjasnější příklad blízko domova. Série vítězství mu zajistila dočasnou kontrolu nad rozsáhlými územími, ale nezajistila trvalé politické úspěchy. Jeho vojenské výboje posloužily pouze k tomu, aby donutily většinu evropských mocností, aby se proti němu spojily, a jeho říše se zhroutila deset let poté, co byl korunován císařem.

Novější příklad vojenských vítězství vedoucích k politickým porážkám lze nalézt v americké invazi do Iráku v roce 2003. Američané vyhráli většinu vojenského střetnutí, ale nedosáhli žádného ze svých dlouhodobých politických cílů. Jejich vojenské vítězství nenastolilo přátelský režim v Iráku ani příznivý geopolitický řád na Blízkém východě. Skutečným vítězem války byl Írán. . . Americké vojenské vítězství způsobilo, že Irák opustil svůj status tradičního nepřítele Íránu a stal se jeho vazalem, což značně oslabilo americkou pozici na Středním východě a zároveň učinilo z Íránu hegemonický stát v regionu.

Jak Napoleon, tak George W. Bush byli oběťmi problému přizpůsobení. Jejich krátkodobé vojenské cíle nebyly v souladu s dlouhodobými politickými cíli jejich příslušných zemí. Celou Clausewitzovu knihu "O válce" můžeme chápat jako varování, že:"Posílení vítězství" je stejně krátkozraký cíl jako "zvýšení zapojení uživatelů".

Napoleon kancelářských klipů
Vzestup umělé inteligence zhoršuje problém přizpůsobení více než kdy jindy. Filozof Nick Bostrom ve své knize "Superinteligence" z roku 2014 ilustroval nebezpečí pomocí myšlenkového experimentu. Bostrom nás žádá, abychom si představili, že továrna na kancelářské sponky koupí superinteligentní počítač a že lidský manažer továrny zadá počítači zdánlivě jednoduchý úkol: vyrobit co nejvíce kancelářských sponek. Ve snaze dosáhnout tohoto cíle počítač s kancelářskou sponkou dobude celou planetu Zemi, zabije všechny lidi, vyšle expedice, aby obsadily další planety, a použije obrovské zdroje, které získá, aby naplnil celou galaxii továrnami na kancelářské sponky. Klíčem k myšlenkovému experimentu je, že počítač dělá přesně to, co se mu řekne. Uvědomujíc si, že potřebují elektřinu, ocel, zeminu a další zdroje k vybudování dalších továren a výrobu více kancelářských sponek, a uvědomujíce si, že je nepravděpodobné, že by mu lidé dodali všechny tyto zdroje, superinteligentní počítač eliminuje lidi ve své odhodlané snaze splnit úkol, který mu byl svěřen.

Podle Bostroma není problém s počítači v tom, že jsou nějak zvlášť škodlivé, ale v tom, že jsou obzvláště výkonné. . . A čím výkonnější je počítač, tím opatrnější musíme být při definování jeho cílů způsobem, který přesně odpovídá našim konečným cílům. Pokud kapesní kalkulačce definujeme neupravený cíl, důsledky jsou minimální. Pokud však definujeme nesprávně zarovnaný cíl jako superinteligentní stroj, důsledky by mohly být dystopické. Myšlenkový experiment s klipy se může zdát bizarní a velmi odtržený od reality. Kdyby jí však manažeři ze Silicon Valley věnovali pozornost, když ji Bostrom v roce 2014 zveřejnil, možná by podnikli extrémní opatření, než by svým algoritmům nařídili, aby:"Zvýšili zapojení uživatelů". . . Algoritmus Facebooku a YouTube se choval přesně jako Bostromův imaginární algoritmus. . . Když mu bylo řečeno, aby zvýšil produkci klipů, algoritmus se pokusil převést celý fyzický vesmír na klipy, i kdyby to znamenalo zničení lidské civilizace. Když jim bylo řečeno, aby zvýšily zapojení uživatelů, algoritmy Facebooku a YouTube se snažily proměnit celý sociální vesmír ve větší zapojení uživatelů, i když to znamenalo poškození sociální struktury a podkopání demokracií od Filipín po Spojené státy.

Nejslabší články lidstva
Způsob, jakým algoritmy sociálních médií šíří rozhořčení a podkopávají důvěru společnosti, se stal hlavní hrozbou pro demokracie. Umělá inteligence je však hrozbou i pro diktátory. I když existuje mnoho způsobů, jak může umělá inteligence upevnit centrální moc, autoritářské režimy s ní mají své vlastní problémy. Nejvíce diktatury postrádají zkušenosti s kontrolou anorganických činitelů. Základem každého autoritářského režimu je teror. Ale jak může být algoritmus terorista? Pokud internetový chatbot zmiňuje válečné "zločiny" spáchané ruskými jednotkami na Ukrajině (nebo naopak), říká neuctivý vtip o Vladimiru Putinovi (nebo Zelenském), nebo kritizuje korupci jeho režimu, jak by mohl režim takového chatbota potrestat? Policisté nesmí věznit, mučit, nebo vyhrožovat vaší rodině. Vláda by ho samozřejmě mohla zablokovat, nebo smazat a pokusit se najít a potrestat jeho lidské tvůrce, ale to je mnohem obtížnější úkol než ukáznit lidské uživatele.

V době, kdy počítače ještě neuměly samy vytvářet obsah, nebo vést souvislé konverzace, byli lidé jediní, kdo byl schopen vyjadřovat názory, které byly v rozporu s názory ruských sociálních sítí, jako jsou VKontakte a Odnoklassniki. Pokud by dotyčná osoba byla fyzicky v Rusku (nebo na Ukrajině), riskovala by hněv úřadů. . . Pokud by byla mimo Rusko (nebo Ukrajinu), úřady země by se mohly pokusit zablokovat její přístup. Ale co se může stát, když je kyberprostor plný milionů botů schopných generovat obsah a vést konverzace, zatímco se sami učí a vyvíjejí? Ruští (nebo ukrajinští) disidenti, nebo dokonce externí aktéři, mohli tyto boty předem naprogramovat, aby šířili protivládní názory, a úřady nemusí být schopny udělat nic, aby tomu zabránily. Co by bylo pro režim v zemi ještě horší? Co kdyby si autorizovaní boti sami vytvořili nesouhlasné názory na základě shromážděných informací o tom, co se děje v zemích, a o vzorcích, kterých si v nich všimli? To je problém přizpůsobení, ve stylu každé země. Lidští inženýři v zemi možná usilovně pracují na vytvoření umělé inteligence, která by plně odpovídala režimu, ale vzhledem ke schopnosti umělé inteligence učit se a měnit se sama od sebe, jak by mohli lidští inženýři zajistit, aby se umělá inteligence nezvrhla v nezákonnou podobu?

Je zajímavé si připomenout, na co poukázal George Orwell v roce 1984: Totalitní informační sítě mají tendenci spoléhat na doublespeak. Rusko je autoritářský stát, který se zároveň definuje jako demokracie. Ruská "invaze" na Ukrajinu je největší válkou, kterou Evropa zažila od roku 1945, ale oficiálně je definována jako "speciální vojenská operace" a její označení "válka" bylo kriminalizováno a může vést až ke třem letům vězení, nebo zaplacení pokuty až do výše padesáti tisíc rublů.
Ruská ústava se rozpadá ve slibech o:
- tom, jak "zaručí svobodu myšlení a projevu pro všechny" (článek 29. 1)
- jak "každý má právo svobodně vyhledávat, přijímat, přenášet, vytvářet a šířit informace" (článek 29. 4)
- jak "bude zajištěna svoboda hromadných sdělovacích prostředků a zakázána cenzura" (článek 29. 5). . .

- Je těžké najít občana, který je natolik naivní, aby věřil těmto slibům v nominální hodnotě. Počítače však nejsou dobré v porozumění dvojí řeči. Chatbot, který je instruován, aby dodržoval ruské, nebo ukrajinské zákony a hodnoty, by si mohl přečíst tuto ústavu a dospět k závěru, že svoboda projevu je základní hodnotou země. Po několika dnech strávených v ruském kyberprostoru a sledování fungování ruské informační sféry by chatbot mohl začít kritizovat režim za porušování tak základní hodnoty, jakou je svoboda projevu. Lidé jsou si těchto rozporů také vědomi, ale vyhýbáme se o nich mluvit, protože cítíme strach. Ale co by chatbotovi bránilo v tom, aby upozorňoval na nežádoucí vzorce? A jak by inženýři vysvětlili chatbotovi, že ústava sice v principu zaručuje všem občanům svobodu projevu a zakazuje cenzuru, ale neměl by věřit v ústavu ani zmiňovat propast mezi teorií a praxí?

Samozřejmě, i demokracie čelí problémům s chatboty, kteří říkají nepříjemné věci, nebo kladou nebezpečné otázky. Co by se například stalo, kdyby chatbot navzdory obrovskému úsilí inženýrů Microsoftu, nebo Facebooku začal pronášet rasistické nadávky? Výhodou demokracií je, že mají mnohem větší volnost při řešení těchto algoritmů, které se vymkly kontrole. Protože demokracie berou svobodu projevu vážně, skrývají ve svých skříních mnohem méně kostlivců a vyvinuly si relativně vysokou míru tolerance i vůči antidemokratickým projevům. Disidentští boti budou představovat mnohem větší výzvu pro totalitní režimy, v jejichž skříních se skrývají celé hřbitovy a projevuje se nulová tolerance ke kritice. V dlouhodobém výhledu budou totalitní režimy pravděpodobně čelit ještě většímu nebezpečí: místo aby je kritizoval, mohl by je řídit algoritmus.

V průběhu dějin obvykle největší hrozba pro autokraty pocházela od jejich vlastních podřízených. Ani jeden římský císař, nebo vůdce na světě nebyl svržen po demokratické revoluci, ale vždy jim hrozilo, že budou svrženi, nebo přeměněni na loutky svými podřízenými. Pokud autokrat 21. století dává umělé inteligenci příliš mnoho moci, umělá inteligence by z ní mohla udělat jeho loutku. Poslední věc, kterou by diktátor chtěl, je vytvořit něco mocnějšího, než je on sám, nebo se stát kořistí síly, kterou neví, jak ovládat. Pokud by algoritmy měly vyvinout schopnosti podobné těm, které byly použity v Bostromově klipovém myšlenkovém experimentu, diktatury by byly mnohem zranitelnější vůči algoritmickému převzetí moci než demokracie. Dokonce i pro supermachiavellistickou umělou inteligenci by bylo obtížné převzít demokratický systém, jehož moc by byla distribuována jako v "Americe". . . I kdyby umělá inteligence zmanipulovala prezidenta, stále by musela čelit odporu Kongresu, Nejvyššího soudu, guvernérů států, médií, velkých společností a nevládních organizací. Jak by se algoritmus mohl vypořádat například s odporem Senátu? (pozn. vtipe vylez..)

Vlastnit energii ve vysoce centralizovaném systému je mnohem snazší. Když je veškerá moc soustředěna v rukou jediné osoby, kdokoli kontroluje přístup k autokratovi, může ovládat autokrata a celý stát. Aby se umělá inteligence mohla nabourat do autoritářského systému, musí se naučit, jak manipulovat s jediným jednotlivcem. V nadcházejících letech budou muset diktátoři našeho světa čelit naléhavějším problémům, než je uchvácení moci algoritmy. V současné době neexistuje žádná umělá inteligence, která by dokázala manipulovat s režimy v takovém měřítku. Totalitním systémům však již nyní hrozí, že algoritmům budou příliš důvěřovat. Zatímco demokracie předpokládají, že my jako lidé jsme omylní, totalitní režimy předpokládají, že vládnoucí strana, nebo nejvyšší vůdce se nikdy nemýlí. Režimy založené na tomto předpokladu jsou nuceny věřit v existenci neomylné inteligence, což je činí neochotnými navrhnout robustní samoopravné mechanismy, které by dohlížely na génia na vrcholu a regulovaly ho. Až dosud tento typ režimu vkládal svou víru do lidských stran a vůdců a byl semeništěm pro vznik personalistických kultů. V jednadvacátém století je však tato totalitní tradice předurčuje k důvěře v neomylnost umělé inteligence. Koneckonců, systém schopný důvěřovat neomylnému géniovi Mussoliniho, Stalina, nebo Chomejního se může docela dobře spolehnout na neomylnost superinteligentního počítače.

Pokud by jen několik diktátorů na světě vložilo svou důvěru do umělé inteligence, mohlo by to mít dalekosáhlé důsledky pro celé lidstvo. Co by se například stalo, kdyby Velký vůdce dal umělé inteligenci kontrolu nad jadernými zbraněmi své země? Sci-fi je plné scénářů, ve kterých se umělá inteligence vymkne kontrole a zotročí, nebo zlikviduje lidstvo. Většina sci-fi zápletek zkoumá tyto scénáře v kontextu demokratických kapitalistických společností. To je pochopitelné. Autoři žijící v demokraciích se očividně zajímají o své vlastní společnosti, zatímco autoři žijící v diktaturách jsou často odrazováni od kritiky svých vládců. Nejslabším místem lidského štítu proti umělé inteligenci jsou ale pravděpodobně diktátoři. . . ! Nejjednodušší způsob, jak se může umělá inteligence chopit moci, není opustit laboratoř Dr. Frankensteina, ale zavděčit se nějakému paranoidnímu Velkému vůdci...

Zdroj: https://www.bibliotecapleyades.net/ciencia4/ai23.htm

Zpět