9461
"Jak můžeme sdílet planetu s novou superinteligencí?" Yuval Noah
[ Ezoterika ] 2025-04-01
Harari Michiaki Matsushima
Kniha izraelského historika a filozofa Yuvala Noaha Harariho "Sapiens" se stala mezinárodním bestsellerem díky tomu, že představila pohled na historii poháněný fikcemi vytvořenými lidstvem. Jeho pozdější dílo "Homo Deus" pak líčilo budoucnost lidstva, kterou přinesl vznik superinteligence. Jeho poslední kniha "Nexus - Stručná historie informačních sítí od doby kamenné po umělou inteligenci" je varováním před bezprecedentní hrozbou umělé inteligence...! Rostoucí trend technofašismu poháněný populismem a umělou inteligencí je patrný od listopadových prezidentských voleb v USA. Nexus byl zveřejněn jen o několik měsíců dříve. Je aktuálním vysvětlením potenciálních důsledků umělé inteligence na demokracii a totalitarismus. Harari v knize nebije na poplach pouze ohledně singularity - hypotetického budoucího bodu, v němž se technologie, zejména AI, vymyká lidské kontrole a nevratně postupuje sama od sebe -, ale také ohledně cizosti AI. Rozhovor s Michiaki Matsushimou, šéfredaktorem WIRED Japan (YouTube "The Big Interview" časopisu WIRED). Rozhovor byl upraven pro srozumitelnost a délku.
YUVAL NOAH HARARI
Q: Na konci 90. let, kdy se začal šířit internet, se diskursovalo, že to přinese světový mír. Myslelo se, že když se více informací dostane k více lidem, všichni se dozvědí pravdu, zrodí se vzájemné porozumění a lidstvo se stane moudřejším. WIRED, který byl hlasem změny a naděje v digitálním věku, byl v té době součástí tohoto myšlení. Ve své nové knize Nexus píšete, že takový pohled na informace je příliš naivní.
A: Informace není totéž co pravda. Většina informací není přesným zobrazením reality. Hlavní úlohou informací je spojovat mnoho věcí, spojovat lidi. Někdy jsou lidé spojeni pravdou, ale často je snazší použít fikci nebo iluzi. Totéž platí o světě přírody. Většina informací, které existují v přírodě, není určena k tomu, aby říkala pravdu. Říkají nám, že základní informací, základem života je DNA, ale je DNA pravdivá? Ne. DNA spojuje mnoho buněk dohromady, aby vytvořily tělo, ale o ničem nám neříká pravdu. Podobně Bible, jeden z nejdůležitějších textů v lidské historii, spojila miliony lidí dohromady, ale ne nutně tím, že by jim řekla pravdu. Když jsou informace na zcela volném trhu, drtivá většina informací se stává fikcí, iluzí nebo lží. Existují tři hlavní potíže s pravdou.
1. říkat pravdu je nákladné, vytváření fikce je levné. Pokud chcete napsat pravdivý popis historie, ekonomie, fyziky atd. musíte investovat čas, úsilí a peníze do shromažďování důkazů a ověřování faktů. S beletrií si však můžete jednoduše psát, co chcete.
2. pravda je často složitá, protože realita sama je složitá. Na druhou stranu beletrie může být tak jednoduchá, jak chcete.
3. pravda je často bolestivá a nepříjemná. Na druhou stranu beletrie může být co nejpříjemnější a nejpřitažlivější.
Tudíž, na zcela svobodném informačním trhu, by pravda byla přemožena a pohřbena obrovským množstvím fikce a iluzí. Chceme-li se dobrat pravdy, musíme vynaložit zvláštní úsilí, abychom se opakovaně pokoušeli odhalovat fakta. Přesně to se stalo s rozšířením internetu. Internet byl zcela svobodným tržištěm informací. Proto se očekávání, že internet bude šířit fakta a pravdy a šířit porozumění a konsensus mezi lidmi, rychle ukázalo jako naivní. V nedávném rozhovoru pro The New Yorker Bill Gates řekl: "Vždycky jsem si myslel, že digitální technologie dávají lidem moc, ale sociální sítě jsou něco úplně jiného. Pomalu jsme si to uvědomovali. A umělá inteligence je také něco úplně jiného."
Q: Pokud je umělá inteligence bezprecedentní, co se můžeme z minulosti naučit, pokud vůbec něco?
A: Z historie se můžeme poučit mnoho věcí. Znalost historie nám pomáhá pochopit, jaké nové věci umělá inteligence přinesla. Bez znalosti historie nemůžeme správně pochopit novost současné situace. Nejdůležitějším bodem umělé inteligence je, že je to agent, nejen nástroj. Někteří lidé často ztotožňují revoluci v umělé inteligenci s revolucí v tisku, vynálezem psaného slova nebo vznikem hromadných sdělovacích prostředků, jako je rozhlas a televize, ale to je nedorozumění. Všechny předchozí informační technologie byly pouhými nástroji v rukou lidí. I když byl vynalezen knihtiskařský lis, byli to stále lidé, kdo psal text a rozhodoval o tom, které knihy se budou tisknout. Tiskařský lis sám o sobě nemůže nic psát, ani si nemůže vybrat, které knihy se budou tisknout. Umělá inteligence je však zásadně odlišná: Je to činitel; Může psát své vlastní knihy a rozhodovat se, které myšlenky bude šířit. Dokáže dokonce sama vytvořit zcela nové myšlenky, což se nikdy předtím v historii nestalo. My lidé jsme nikdy předtím nečelili superinteligentnímu agentovi. Samozřejmě, že v minulosti existovali herci. Zvířata jsou jedním z příkladů. Lidé jsou však inteligentnější než zvířata, zejména v oblasti spojení jsou drtivě nadřazeni. Ve skutečnosti největší síla Homo sapiens nespočívá v jeho individuálních schopnostech. Na individuální úrovni nejsem silnější než šimpanz, slon nebo lev. Kdyby proti sobě bojovala malá skupina, řekněme 10 lidí a 10 šimpanzů, šimpanzi by pravděpodobně vyhráli.
Q: Proč tedy lidé dominují planetě?
A: Je to proto, že lidé mohou vytvořit sítě tisíců, milionů a dokonce miliard lidí, kteří se osobně neznají, ale mohou účinně spolupracovat v obrovském měřítku. Deset šimpanzů spolu může úzce spolupracovat, ale 1 000 šimpanzů ne. Na druhou stranu lidé mohou spolupracovat ne s 1000 jedinci, ale s milionem nebo dokonce se sto miliony. Důvodem, proč jsou lidské bytosti schopny spolupracovat v tak velkém měřítku, je to, že můžeme vytvářet a sdílet příběhy. Veškerá rozsáhlá spolupráce je založena na společném příběhu. Náboženství je nejzřejmějším příkladem, ale finanční a ekonomické příběhy jsou také dobrými příklady. Peníze jsou možná nejúspěšnějším příběhem v historii. Peníze jsou jen příběh. Bankovky a mince samy o sobě nemají žádnou objektivní hodnotu, ale věříme ve stejný příběh o penězích, který nás spojuje a umožňuje nám spolupracovat. Tato schopnost dala lidem výhodu nad šimpanzi, koňmi a slony. Tato zvířata nemohou vytvořit příběh jako peníze. Ale umělá inteligence ano. Poprvé v historii sdílíme planetu s bytostmi, které dokážou vytvářet a propojovat příběhy lépe než my. Největší otázka, které dnes lidstvo čelí, zní: Jak sdílet planetu s touto novou superinteligencí? Jak bychom měli přemýšlet o této nové éře superinteligence?
Myslím, že základním postojem k revoluci v oblasti umělé inteligence je vyhýbat se extrémům. Na jednom konci spektra je strach, že přijde umělá inteligence a všechny nás zničí, a na druhém konci je optimismus, že umělá inteligence zlepší zdravotní péči, zlepší vzdělávání a vytvoří lepší svět. Potřebujeme střední cestu. V první řadě musíme pochopit rozsah této změny. Ve srovnání s revolucí v oblasti umělé inteligence, které nyní čelíme, budou všechny předchozí revoluce v historii blednout. Je to proto, že v průběhu historie, když lidé něco vynalezli, byli to vždy oni, kdo rozhodovali o tom, jak to použít k vytvoření nové společnosti, nového ekonomického systému nebo nového politického systému. Vezměme si například průmyslovou revoluci v 19. století. V té době lidé vynalezli parní stroje, železnice a parníky. Ačkoliv tato revoluce transformovala výrobní kapacitu ekonomik, vojenské kapacity a geopolitickou situaci a přinesla velké změny po celém světě, byli to nakonec lidé, kdo rozhodl, jak vytvořit průmyslovou společnost.
Jako konkrétní příklad lze uvést amerického komodora Matthewa C. Perryho, který přijel do Japonska na parníku a donutil Japonsko přijmout americké obchodní podmínky (v 50. letech 19. století). V důsledku toho se Japonsko rozhodlo: Industrializujme se jako USA. V té době probíhala v Japonsku velká debata o tom, zda industrializovat, nebo ne, ale debata probíhala pouze mezi lidmi. Parní stroj sám o sobě žádné rozhodnutí neučinil.
Tentokrát však při budování nové společnosti založené na umělé inteligenci nejsou lidé jediní, kdo rozhoduje. Samotná umělá inteligence může mít sílu přicházet s novými nápady a činit rozhodnutí. Co kdyby umělá inteligence měla své vlastní peníze, sama se rozhodovala o tom, jak je utratit, a dokonce je začala investovat na akciovém trhu? Abychom v takovém scénáři pochopili, co se děje ve finančním systému, museli bychom pochopit nejen to, co si myslí lidé, ale také to, co si myslí umělá inteligence. Umělá inteligence má navíc potenciál generovat nápady, které jsou pro nás zcela nepochopitelné.
Šintaro Jošimatsu
Q: Rád bych objasnil, co si myslíte o singularitě, protože často vidím, že se o vás mluví jako o "antisingularitě". Ve své nové knize však poukazujete na to, že umělá inteligence je kreativnější než lidé a že je lepší než lidé i z hlediska emoční inteligence. Obzvláště mě zarazilo vaše tvrzení, že kořenem všech těchto revolucí je samotný počítač, jehož jsou internet a umělá inteligence pouze deriváty. WIRED právě publikoval sérii o kvantových počítačích, takže si vezměme toto jako příklad:
Pokud nám bude v budoucnu dán kvantový skok ve výpočetním výkonu, myslíte si, že singularita, přeuspořádání světového řádu superinteligencí, je nevyhnutelná?
A: To záleží na tom, jak singularitu definujete. Jak tomu rozumím já, singularita je bod, ve kterém již nerozumíme tomu, co se děje tam venku. Je to bod, ve kterém naše představivost a chápání nemohou držet krok. A můžeme být velmi blízko tomuto bodu. I bez kvantového počítače nebo plnohodnotné obecné umělé inteligence - tedy umělé inteligence, která může soupeřit se schopnostmi člověka - může být úroveň umělé inteligence, která dnes existuje, dostatečná k tomu, aby to způsobila.
Lidé často přemýšlí o revoluci v oblasti umělé inteligence jako o jedné obrovské umělé inteligenci, která přichází a vytváří nové vynálezy a změny, ale my bychom měli spíše přemýšlet v pojmech sítí. Co by se stalo, kdyby se miliony nebo desetimiliony pokročilých AI propojily a přinesly zásadní změny v ekonomice, armádě, kultuře a politice? Síť vytvoří úplně jiný svět, kterému nikdy neporozumíme. Pro mě je singularita přesně tím bodem - bodem, ve kterém bude naše schopnost porozumět světu, a dokonce i našemu vlastnímu životu, přemožena. Pokud se mě zeptáte, zda jsem pro nebo proti singularitě, v první řadě bych řekl, že se jen snažím získat jasnou představu o tom, co se právě děje. Lidé často chtějí okamžitě posoudit věci jako dobré nebo špatné, ale první věc, kterou musíte udělat, je podívat se na situaci blíže. Když se ohlédneme za uplynulými 30 lety, technologie udělaly některé velmi dobré věci a některé velmi špatné věci. Nebyla to jednoznačná věc "prostě dobrá" nebo "prostě špatná". To bude pravděpodobně stejné i v budoucnu. Jediným zřejmým rozdílem v budoucnosti je však to, že když už nebudeme rozumět světu, nebudeme už mít svou budoucnost pod kontrolou. Budeme pak ve stejné pozici jako zvířata. Budeme jako kůň nebo slon, který nechápe, co se děje ve světě. Koně a sloni nemohou pochopit, že lidské politické a finanční systémy řídí jejich osud. Totéž se může stát nám lidem.
Q: Řekl jste: "Všichni mluví o éře ´po pravdě´, ale existovala někdy v historii éra ´pravdy´?" Mohl byste vysvětlit, co tím myslíte?
A: Dříve jsme světu rozuměli o něco lépe, protože to byli lidé, kdo řídil svět, a byla to síť lidí. Samozřejmě, že bylo vždy těžké pochopit, jak celá síť funguje, ale přinejmenším jako lidská bytost jsem dokázal rozumět králům, císařům a vysokým kněžím. Byly to lidské bytosti jako já. Když král učinil rozhodnutí, mohl jsem to do určité míry chápat, protože všichni členové informační sítě byli lidské bytosti. Ale nyní, když se umělá inteligence stává hlavním členem informační sítě, je stále obtížnější porozumět důležitým rozhodnutím, která utváří náš svět. Snad nejdůležitějším příkladem jsou finance. V průběhu historie lidé vynalézali stále sofistikovanější finanční mechanismy. Peníze jsou jedním z takových příkladů, stejně jako akcie a dluhopisy. Úrok je dalším finančním vynálezem.
Q: Jaký je ale účel vynalézání těchto finančních mechanismů?
A: Není to totéž jako vynalézt kolo nebo automobil, ani to není totéž jako vyvinout nový druh rýže, kterou lze jíst. Účelem vynalézání financí je tedy vytvořit důvěru a spojení mezi lidmi. Peníze umožňují spolupráci mezi vámi a mnou. Vy pěstujete rýži a já vám platím. Pak mi dáte rýži a já ji mohu jíst. I když se osobně neznáme, oba penězům důvěřujeme. Dobré peníze budují důvěru mezi lidmi. Finance vybudovaly síť důvěry a spolupráce, která spojuje miliony lidí. A až dosud bylo stále možné, aby lidé této finanční síti porozuměli. Je to proto, že všechny finanční mechanismy musely být lidsky pochopitelné. Nemá smysl vymýšlet finanční mechanismus, kterému lidé nemohou rozumět, protože nemůže vytvořit důvěru. Umělá inteligence však může vynalézt zcela nové finanční mechanismy, které jsou mnohem složitější než úroky, dluhopisy nebo akcie. Budou matematicky extrémně složité a pro člověka nepochopitelné. Samotná umělá inteligence jim naopak rozumí. Výsledkem bude finanční síť, kde si umělé inteligence navzájem důvěřují a komunikují spolu a lidé nebudou rozumět tomu, co se děje. V tomto okamžiku ztratíme kontrolu nad finančním systémem a vším, co na něm závisí. Umělá inteligence tedy může vytvářet sítě důvěry, kterým nerozumíme. Takové nepochopitelné věci jsou známé jako "hyperobjekty". Například globální změna klimatu je něco, kde lidé nemohou plně pochopit mechanismy nebo úplný obraz, ale víme, že bude mít obrovský dopad, a proto se jí musíme postavit a přizpůsobit se jí. Umělá inteligence je dalším hyperobjektem, se kterým se lidstvo bude muset v tomto století vypořádat.
Q: Co pro lidstvo znamená vypořádat se s hyperobjekty?
A: V ideálním případě bychom důvěřovali umělé inteligenci, že nám pomůže vypořádat se s těmito hyperobjekty - realitami, které jsou tak složité, že jsou mimo naše chápání. Ale možná největší otázkou ve vývoji umělé inteligence je, jak zajistíme, aby umělá inteligence, která může být inteligentnější než lidé, byla důvěryhodná? Na tuto otázku nemáme odpověď. Domnívám se, že největším paradoxem revoluce v oblasti umělé inteligence je paradox důvěry - to znamená, že se nyní řítíme do vývoje superinteligentní umělé inteligence, které plně nedůvěřujeme. Chápeme, že existuje mnoho rizik. Racionálně by bylo moudré zpomalit tempo vývoje, více investovat do bezpečnosti a nejprve vytvořit bezpečnostní mechanismy, které zajistí, že superinteligentní umělé inteligence neuniknou naší kontrole nebo se nebudou chovat způsobem, který je pro člověka škodlivý. Dnes se však ve skutečnosti děje opak. Nacházíme se uprostřed zrychlujícího se závodu o umělou inteligenci. Různé společnosti a národy závodí závratnou rychlostí ve vývoji výkonnějších AI. Mezitím bylo vynaloženo jen málo investic do zajištění bezpečnosti umělé inteligence. Zeptejte se podnikatelů, podnikatelů a vládních představitelů, kteří vedou tuto revoluci umělé inteligence: "Proč ten spěch?" a téměř všichni odpoví: "Víme, že je to riskantní, to je jisté. Víme, že je to nebezpečné. Chápeme, že by bylo moudřejší postupovat pomaleji a investovat do bezpečnosti. Nemůžeme však věřit našim lidským konkurentům. Pokud ostatní společnosti a země urychlí vývoj umělé inteligence, zatímco my se ji budeme snažit zpomalit a učinit ji bezpečnější, budou nejprve rozvíjet superinteligenci a ovládnou svět. Takže nám nezbývá nic jiného, než se co nejrychleji posunout vpřed, abychom si udrželi náskok před nespolehlivou konkurencí."
Q: Myslíš si, že můžeme věřit superinteligenci, kterou vyvíjí?
A: Jejich odpověď zněla: "Ano." To je téměř šílené. Lidé, kteří nevěří ani ostatním lidem, si nějak myslí, že mohou věřit této mimozemské umělé inteligenci. S lidmi máme tisícileté zkušenosti. Rozumíme lidské psychologii a politice. Chápeme lidskou touhu po moci, ale také máme určité pochopení pro to, jak tuto moc omezit a vybudovat důvěru mezi lidmi. Ve skutečnosti si lidé za posledních několik tisíc let vyvinuli poměrně velkou důvěru. Před 100 000 lety žili lidé v malých skupinách o několika desítkách lidí a nemohli důvěřovat lidem zvenčí. Dnes však máme obrovské národy, obchodní sítě, které se rozprostírají po celém světě, a stovky milionů, dokonce miliardy lidí, kteří si do určité míry důvěřují.
Víme, že umělá inteligence je činitel, že dělá vlastní rozhodnutí, vytváří nové nápady, stanovuje nové cíle, vytváří triky a lži, kterým lidé nerozumí, a může sledovat cizí cíle, které jsou mimo naše chápání. Máme mnoho důvodů být vůči umělé inteligenci podezřívaví. S umělou inteligencí nemáme žádné zkušenosti a nevíme, jak jí věřit. Myslím, že je obrovskou chybou, když lidé předpokládají, že mohou věřit umělé inteligenci, když si nedůvěřují navzájem. Nejbezpečnějším způsobem, jak rozvinout superinteligenci, je nejprve posílit důvěru mezi lidmi a poté vzájemně spolupracovat na rozvoji superinteligence bezpečným způsobem. Ale to, co děláme nyní, je přesný opak. Místo toho je veškeré úsilí zaměřeno na vývoj superinteligence. Někteří čtenáři WIRED s libertariánským myšlením mohou mít větší víru v superinteligenci než v lidi, protože lidé spolu po většinu naší historie bojovali.
Q: Nyní máme velké sítě důvěry, jako jsou národy a velké korporace, ale jak úspěšní jsme při budování takových sítí a budou i nadále selhávat?
A: Záleží na tom, jaká máme očekávání. Když se ohlédneme zpět a porovnáme dnešní lidstvo s dobou před 100 000 lety, kdy jsme byli lovci a sběrači žijícími v malých stádech o několika desítkách lidí, vybudovali jsme překvapivě velkou síť důvěry. Máme systém, ve kterém spolu denně spolupracují stovky milionů lidí. Libertariáni často berou tyto mechanismy jako samozřejmost a odmítají uvažovat o tom, odkud pocházejí. Například ve svém domě máte elektřinu a pitnou vodu. Když jdete na záchod a spláchnete vodu, splašky jdou do obrovského kanalizačního systému. Tento systém je vytvářen a udržován státem. Ale v libertariánském myšlení je snadné považovat za samozřejmé, že prostě používáte záchod a splachujete vodu a nikdo ji nemusí udržovat. Ale samozřejmě, někdo to musí udělat. Ve skutečnosti neexistuje nic takového jako dokonalý volný trh. Kromě konkurence musí vždy existovat nějaký druh systému důvěry. Určité věci mohou být úspěšně vytvořeny konkurencí na volném trhu, nicméně existují některé služby a nezbytnosti, které nemohou být udržovány pouze tržní konkurencí. Spravedlnost je jedním z příkladů. Představte si dokonalý volný trh. Předpokládejme, že s vámi uzavřu obchodní smlouvu a tuto smlouvu poruším. Takže jdeme k soudu a požádáme soudce, aby rozhodl.
Q: Ale co kdybych soudce podplatil?
A: Nemůžete věřit volnému trhu. Netolerovali byste, aby se soudce postavil na stranu osoby, která dala nejvíce úplatků. Pokud by se obchodovalo se spravedlností na zcela volném trhu, spravedlnost sama by se zhroutila a lidé by si již navzájem nedůvěřovali. Důvěra v dodržování smluv a slibů by zmizela a neexistoval by žádný systém, který by je vynucoval. Proto každá soutěž vždy vyžaduje určitou strukturu důvěry. Ve své knize používám příklad mistrovství světa ve fotbale. Máte týmy z různých zemí, které proti sobě soutěží, ale aby se soutěž mohla konat, musí nejprve dojít k dohodě o společném souboru pravidel. Kdyby Japonsko mělo svá vlastní pravidla a Německo jiný soubor pravidel, neexistovala by žádná konkurence. Jinými slovy, i konkurence vyžaduje základ společné důvěry a shody. Jinak se zhroutí samotný řád.
Q: V Nexusu poznamenáváte, že masmédia umožnila masovou demokracii - jinými slovy, že informační technologie a rozvoj demokratických institucí jsou ve vzájemném vztahu. Pokud ano, jaké příležitosti pro pozitivní změnu jsou v demokraciích kromě negativních možností populismu a totalitarismu možné?
A: Na sociálních sítích se například záměrně šíří fake news, dezinformace a konspirační teorie, aby se zničila důvěra mezi lidmi. Algoritmy však nemusí být nutně šiřiteli falešných zpráv a konspiračních teorií. Mnozí toho dosáhli jednoduše proto, že k tomu byli navrženi. Účelem algoritmů Facebooku, YouTube a TikToku je maximalizovat zapojení uživatelů. Po mnoha pokusech a omylech byl objeven nejjednodušší způsob, jak toho dosáhnout - šířit informace, které podněcovaly hněv, nenávist a touhu lidí... Je to proto, že když jsou lidé naštvaní, mají větší sklon usilovat o informace a šířit je mezi ostatní, což vede ke zvýšené angažovanosti.
Q: Co kdybychom ale algoritmu dali jiný účel?
A: Pokud mu například dáte účel, jako je zvýšení důvěry mezi lidmi nebo zvýšení pravdivosti, algoritmus nikdy nebude šířit falešné zprávy. Naopak, pomůže vybudovat lepší společnost, lepší demokratickou společnost. Dalším důležitým bodem je, že demokracie by měla být dialogem mezi lidskými bytostmi. Abyste mohli vést dialog, musíte vědět a věřit, že máte co do činění s lidskou bytostí. Se sociálními médii a internetem je však stále obtížnější zjistit, zda informace, které čtete, skutečně píší a šíří lidé, nebo jen roboti. To ničí důvěru mezi lidmi a velmi ztěžuje demokracii. Abychom to vyřešili, mohli bychom mít předpisy a zákony, které by zakazovaly botům a umělé inteligenci předstírat, že jsou lidé. Nemyslím si, že by umělá inteligence sama o sobě měla být vůbec zakázána; Umělá inteligence a roboti s námi mohou komunikovat, ale pouze pokud dají jasně najevo, že jsou umělou inteligencí a ne lidmi. Když vidíme informace na Twitteru, potřebujeme vědět, zda je šíří člověk nebo bot.
Q: Někteří lidé mohou říci:"Není to porušení svobody projevu?"
A: Ale boti nemají svobodu projevu. I když jsem rozhodně proti cenzuře lidského projevu, nechrání to vyjadřování botů.
Q: Staneme se v blízké budoucnosti chytřejšími nebo dosáhneme lepších závěrů diskusemi o tématech s umělou inteligencí? Uvidíme ten druh kreativity, který si lidé ani nedokážou představit, jako v případě AlphaGo, který také popisujete ve své nové knize, například v diskusích ve třídě?
A: Samozřejmě, že se to může stát. Na jedné straně může být umělá inteligence velmi kreativní a přicházet s nápady, které by nás nikdy nenapadly. Ale zároveň s námi může umělá inteligence manipulovat tím, že nás krmí obrovským množstvím nevyžádaných a zavádějících informací. Klíčovým bodem je, že my lidé jsme zúčastněnými stranami ve společnosti. Jak jsem již zmínil na příkladu kanalizačního systému, máme tělo. Pokud se zhroutí kanalizace, onemocníme, šíříme nemoci, jako je úplavice a cholera, a v nejhorším případě zemřeme. To ale vůbec není hrozba pro umělou inteligenci, které je jedno, jestli se kanalizace zhroutí, protože neonemocní ani nezemře. Když například lidští občané debatují o tom, zda vyčlenit peníze vládní agentuře na správu kanalizačního systému, je zde zřejmý partikulární zájem. Takže i když umělá inteligence může přijít s velmi neotřelými a nápaditými nápady pro kanalizační systémy, musíme mít vždy na paměti, že umělá inteligence není lidská ani organická. Je snadné zapomenout, že máme těla, zvláště když mluvíme o kyberprostoru. Umělá inteligence se od lidí liší nejen tím, že její představivost a způsob myšlení jsou cizí, ale také tím, že její samotné tělo je zcela odlišné od toho našeho. V konečném důsledku je umělá inteligence také fyzickou bytostí; Neexistuje v nějakém čistě mentálním prostoru, ale v síti počítačů a serverů.
Q: Co je nejdůležitější vzít v úvahu při přemýšlení o budoucnosti?
A: Domnívám se, že jsou zde dvě důležité otázky. Jednou z nich je otázka důvěry, která byla až do této chvíle předmětem mnoha diskusí. Nyní se nacházíme v situaci, kdy je v sázce důvěra mezi lidskými bytostmi. To je největší nebezpečí. Pokud se nám podaří posílit důvěru mezi lidmi, budeme schopni se lépe vypořádat s revolucí v oblasti umělé inteligence. Druhým je hrozba, že budou zcela zmanipulováni nebo svedeni umělou inteligencí. V raných dnech internetu byl primární metaforou technologie web. World Wide Web byl koncipován jako síť podobná pavučině, která spojuje lidi mezi sebou. Dnes je však primární metaforou kokon. Lidé stále více žijí v individuálních kokonech informací. Lidé jsou bombardováni tolika informacemi, že jsou slepí k realitě kolem sebe. Lidé jsou uvězněni v různých informačních kokonech. Poprvé v historii je nelidská entita, AI, schopna vytvořit takový kokon informací. V průběhu historie žili lidé v lidském kulturním kokonu. Poezie, legendy, mýty, divadlo, architektura, nástroje, kuchyně, ideologie, peníze a všechny ostatní kulturní produkty, které utvářely náš svět, to vše pochází z lidské mysli. V budoucnosti však mnoho z těchto kulturních produktů bude pocházet z nelidské inteligence. Naše básně, videa, ideologie a peníze budou pocházet od nelidské inteligence. Můžeme být uvězněni v takovém cizím světě, mimo kontakt s realitou. To je strach, který lidé drželi hluboko ve svých srdcích po tisíce let. Nyní, více než kdy jindy, se tento strach stal skutečným a nebezpečným. Například buddhismus hovoří o pojmu mája - iluze, halucinace. S příchodem umělé inteligence může být ještě obtížnější uniknout z tohoto světa iluzí než dříve. Umělá inteligence je schopna nás zaplavit novými iluzemi, iluzemi, které ani nepochází z lidského intelektu nebo představivosti. Zjistíme, že je velmi těžké tyto iluze vůbec pochopit. Zmiňujete "samoopravné mechanismy" jako důležitou funkci pro udržení demokracie. Myslím, že je to také důležitá funkce, jak se dostat z kokonu a dostat se do kontaktu s realitou. Na druhou stranu ve své knize píšete, že výkonnost lidské rasy od průmyslové revoluce by měla být hodnocena stupněm "C mínus", tedy jen stěží přijatelná.
Q: Pokud tomu tak je, pak přece nemůžeme od lidské rasy v nadcházející revoluci umělé inteligence mnoho očekávat?
A: Když se objeví nová technologie, nemusí to být samo o sobě špatné, ale lidé ještě nevědí, jak ji prospěšně používat. Důvod, proč to nevědí, je, že na to nemáme model. Když v 19. století probíhala průmyslová revoluce, nikdo neměl model, jak vybudovat "dobrou průmyslovou společnost" nebo jak využít technologie, jako jsou parní stroje, železnice a telegrafy, ve prospěch lidstva. Proto lidé experimentovali různými způsoby. Některé z těchto experimentů, jako například vytvoření moderního imperialismu a totalitních států, měly katastrofální výsledky. To neznamená, že umělá inteligence sama o sobě je špatná nebo škodlivá. Skutečným problémem je, že nemáme historický model pro budování společnosti založené na umělé inteligenci. Proto budeme muset experimenty opakovat. Navíc samotná umělá inteligence nyní bude činit vlastní rozhodnutí a provádět vlastní experimenty. A některé z těchto experimentů mohou mít strašlivé výsledky. Proto potřebujeme samoopravný mechanismus, který dokáže odhalit a opravit chyby dříve, než se stane něco fatálního. To však není něco, co lze před uvedením technologie umělé inteligence do světa otestovat v laboratoři. Simulovat historii v laboratoři není možné. Vezměme si například vynalézanou železnici. V laboratoři mohli lidé zjistit, zda parní stroje nevybuchnou v důsledku poruchy. Nikdo však nedokázal simulovat změny, které přinesou do ekonomické a politické situace, když se železniční síť rozprostírá v desítkách tisíc kilometrů. Totéž platí pro umělou inteligenci. Bez ohledu na to, kolikrát budeme v laboratoři experimentovat s umělou inteligencí, bude nemožné předpovědět, co se stane, když budou miliony superinteligencí vypuštěny do skutečného světa a začnou měnit ekonomickou, politickou a sociální krajinu. Téměř jistě dojde k velkým chybám. Proto bychom měli postupovat opatrněji a pomaleji. Musíme si dopřát čas na přizpůsobení, čas na objevení a nápravu našich chyb.
Zdroj:
https://www.bibliotecapleyades.net/ciencia4/ai43.htm
Zpět
