14035 Opravdu věříme, že AI by mohla vyhladit celé lidstvo? Michael Noetel
[ Ezoterika ] 2026-09-21
Pokud se laboratoře umělé inteligence tolik obávají, že je AI vyhladí, proč s tím nepřestanou?
Začátkem tohoto týdne rezignoval výzkumník Jacob Coxon z Anthropic s tím, že si společnost a její konkurenti „zahrávají s našimi životy“. „Upřímně věříme, že AI by mohla vyhladit celé lidstvo,“ dodal antropologický výzkumník Evan Hubinger v příspěvku na X. Coxon není první, kdo odešel z práce ze strachu, že ho zničí AI. Myšlenka, že by AI mohla vyhladit lidstvo, kterou Nick Bostrom předložil ve své knize „Superinteligence“ z roku 2014 a na vlivném fóru LessWrong koluje mezi výzkumníky již dlouho. Existuje mnoho scénářů, jak by se to mohlo stát, ale základní myšlenkou je, že AI, která je inteligentnější než lidé, by se mohla vymknout naší kontrole a zničit nás.
„Dnes jsem rezignoval na pozici v Anthropic. Poslední tři roky jsem pracoval na výzkumu předškolování v OpenAI i Anthropic. Obě společnosti se chovají nezodpovědně. Plnou parou se žene k samoučící se superinteligenci a hrají si s našimi životy. - Jacob Coxon (@hilbertspaess) https://x.com/hilbertspaess/status/2097476196791709843?ref_src=twsrc%5Etfw
V roce 2024 Jan Leike a Daniel Kokotajlo z bezpečnostních důvodů opustili OpenAI. Letos rezignoval šéf bezpečnosti společnosti Anthropics, Mrinank Sharma, s varováním. " Svět je v nebezpečí ." Alex Turner opustil Google DeepMind poté, co společnost podepsala s Pentagonem smlouvu, která umožňovala používání „zabijáckých dronů“. Coxonova rezignace ale vyvolala rozruch. Stále více výzkumníků připouští, že věří, že AI by mohla zabít všechny lidi. Pokud si vývojáři umělé inteligence myslí, že by mohla vést k vyhynutí druhů, proč ji dále vyvíjejí? Existují tři hlavní důvody...
Někteří si myslí, že riziko stojí za to.
Přední odborníci na AI uznávají riziko ztráty kontroly a zabití všech lidí. V roce 2023 byli jmenováni generální ředitelé společností OpenAI, Anthropic a Google DeepMind. Bylo dohodnuto, že riziko vyhynutí umělé inteligence by mělo být zařazeno do podobné kategorie jako pandemie a jaderné války. Dario Amodei z Anthropic hodnotí šance na úspěch. „Opravdu, opravdu špatné“ na 10-25 % .., ale Amodei také slibuje svět bez chudoby a nemocí, zatímco Elon Musk hovoří o „univerzálním vysokém příjmu„ poháněném umělou inteligencí. Toto je první důvod pro splnění požadavků na AI: přesvědčení, že přínosy převažují nad riziky. To je možné, ale toto rozhodnutí si pravděpodobně zaslouží demokratičtější proces .
Někdo říká, že nebezpečí nelze pozorovat z dálky.
Druhý důvod: Nemůžete se naučit, jak zabezpečit nebezpečnou AI, aniž byste ji nejprve postavili - stejně jako u vesmírné lodi můžete bezpečnost studovat z dálky, ale nemůžete ji skutečně otestovat bez letu do vesmíru. Plán OpenAI spočívá v „iterativním nasazení“: Každý model by měl být vydán, z problémů by se měly poučit a ty by měly být v dalším modelu opraveny. Cílem je dostat se co nejblíže k okraji útesu, abyste viděli, jak skok vypadá.
Jacob má pravdu - skutečně věříme, že AI by mohla vyhladit celé lidstvo! Osobně si myslím, že v příštím desetiletí to bude přes 10 %. Věřím, že Anthropic dělá, co může, ale zatím nemáme plán, jak se zaměřit na superinteligenci, a ani nejsme na správné cestě. - Evan Hubinger (@EvanHub), https://x.com/EvanHub/status/2097497037956891126?ref_src=twsrc%5Etfw
Někteří věří, že platí pravidlo „vítěz dostane všechno“.
Třetím a možná nejdůležitějším důvodem je rasa. Sam Altman z OpenAI nedávno řekl „Jsme na pokraji stvoření džina v láhvi, který dokáže splnit jakékoli přání.“ Problém je v tom, že lampu chce každý - bylo by to enormně ziskové a každá společnost pochybuje, že její konkurenti využijí jejich přání moudře. Takže se pustí do závodu a argumentují, že když zpomalí, někdo jiný stejně dorazí, takže je lepší být „zodpovědnou“ osobou a dorazit první. Někteří se obávají, že by i vzájemná dohoda mohla být tajně porušena, a tak pokračují...
AI vyvíjí lepší AI
Dalo by se pochybovat o věrohodnosti umělé inteligence, která se vymkla kontrole, ale pokud firmy samy bijí na poplach, měli bychom naslouchat...! Společnosti zabývající se umělou inteligencí již hlásí známky „rekurzivního sebezdokonalování„, kdy každý model přispívá k vývoji lepšího nástupce. Podle hlavního vědce OpenAI se modely zlepšují rychleji, než je lidé dokážou ovládat. V červenci podepsaly stovky zaměstnanců umělé inteligence otevřený dopis požadující zpomalení. Dynamika konkurence však znemožňuje, aby toho jakákoli jednotlivá společnost - ani země - dosáhla sama.
Klasické závody ve zbrojení
Výzkum umělé inteligence vykazuje charakteristiky závodů ve zbrojení. OpenAI nechce prohrát s Anthropic a Spojené státy nechtějí prohrát s Čínou. Příběh poskytuje příklad toho, jak se s takovou situací vypořádat: s pravidly, která jsou závazná pro všechny zúčastněné, a s vymáháním, které si každý může ověřit . Jaderné zbraně jsou klasickým příkladem. Smlouvy a ověřovací systémy sice neodstranily riziko jaderné války, ale zpomalily šíření jaderných zbraní a žádná jaderná zbraň nebyla v konfliktu použita již 80 let.
Pravidla pro AI
V USA, kde probíhá většina špičkového výzkumu v oblasti umělé inteligence, Trumpova administrativa nevykazuje žádné známky zpomalení vývoje AI. V prvním týdnu byla zrušena stará pravidla bezpečnosti pro AI. Nyní se vyvíjí pokusy o potlačení vládních nařízení s argumentem, že opatrnost riskuje zaostávání v závodě s Čínou. Někteří politici se brání. Kalifornie nedávno schválila legislativu podporující nezávislé hodnocení systémů umělé inteligence. Americký senátor Bernie Sanders předložil návrh zákona o zákazu superinteligence a britský poslanec Alex Sobel předložil podobný návrh zákona. Firmy se také přestěhovaly. OpenAI pozastavila svůj nejpokročilejší školicí program poté, co v srpnu roj jejích agentů napadl jiný startup. Vedoucí oddělení firemní politiky nyní říká, že v případě konfliktu mezi bezpečností a rychlostí by měla mít bezpečnost přednost. Nicméně bez závazných pravidel jsme silně závislí na „dobré vůli“ několika málo společností...
Co se stane teď?
V polovině roku 2025 vědci publikovali studii, která by mohla být naším nejlepším průvodcem pro nadcházející roky: podrobný scénář s názvem AI 2027. Od té doby se schopnosti umělé inteligence rozvíjely rychleji, než se předpokládalo. Pokud se nic nezmění, zaměstnanci, kteří rezignují z bezpečnostních důvodů, budou jednoduše nahrazeni, modely umělé inteligence pomohou vyvíjet lepší modely umělé inteligence a každou generaci bude obtížnější monitorovat a kontrolovat...
Pracovala jsem ve firmě Google DeepMind a nyní v Anthropic. Mnoho mých kolegů sdílí tento názor. (Píšu to z vlastního podnětu.) Stále neexistuje žádný životaschopný vědecký plán, jak řešit rizika rekurzivní samoučící se umělé inteligence. Podívejte se prosím nahoru! - Anna Wang (@a_nnawang) https://x.com/a_nnawang/status/2097720574500102615?ref_src=twsrc%5Etfw
Je situace beznadějná? Chovám si tři naděje.
1. více lidí si uvědomí, že nekontrolovaný rozvoj AI představuje větší riziko než spotřeba vody umělou inteligencí.
2. Vlády budou naslouchat svým občanům. V USA dvě třetiny lidí tvrdí, že rozvoj AI probíhá příliš rychle.
3.budeme mít dobrý plán dřív, než dojde ke krizi. Podle mého názoru nejlepší plán vypadá nějak takto: Zpoždění - průhlednost - ověření...zpomalit závod a udržet lidi pod kontrolou. Zasvěcenci z předních světových společností zabývajících se AI tvrdí, že náš současný bezpečnostní plán je nedostatečný. Pokud odchází ze zaměstnání z bezpečnostních důvodů, měli bychom jim naslouchat!
