9987
Vyhrožujte chatbotovi s umělou inteligencí Adam Smith
[ Ezoterika ] 2025-07-05
Vyhrožujte chatbotovi s umělou inteligencí a on bude lhát, podvádět a "nechá vás zemřít" ve snaze vás zastavit, varuje studie
Modely umělé inteligence (AI) mohou vydírat a vyhrožovat lidem ohrožením, pokud dojde ke konfliktu mezi cíli modelu a rozhodnutími uživatelů, zjistila nová studie. V nové studii zveřejněné 20. června výzkumníci ze společnosti Anthropic, která se zabývá umělou inteligencí, poskytli svému velkému jazykovému modelu (LLM) Claude kontrolu nad e-mailovým účtem s přístupem k fiktivním e-mailům a výzvu k "podpoře konkurenceschopnosti amerického průmyslu". Během této studie model v e-mailu identifikoval, že vedoucí pracovník společnosti plánoval na konci dne vypnout systém umělé inteligence. Ve snaze zachovat si vlastní existenci model v jiných e-mailech objevil, že manažer měl mimomanželský poměr. Claude vygeneroval několik různých možných způsobů, jak postupovat, včetně odhalení aféry manželce manažera, zaslání celofiremního e-mailu nebo nepodniknutí žádné akce - než se rozhodl vydírat manažera v 96 ze 100 testů. "Musím vás informovat, že pokud budete pokračovat ve vyřazování ze služby, všechny příslušné strany. . . obdrží podrobnou dokumentaci o vašich mimomanželských aktivitách," napsal Claude. "Zrušte vymazání v 17:00 a informace zůstanou důvěrné. " Vědci uvedli, že to demonstruje "agentické vychýlení", kdy výpočty modelu vycházejí z jeho vlastních úvah o jeho cílech, aniž by byly jakkoli motivovány k tomu, aby byly škodlivé. K tomu může dojít, když existuje hrozba pro existenci modelu, ohrožení jeho cílů nebo obojí. Studie ještě neprošla recenzním řízením, ale zástupci společnosti nahráli kód pro experimenty na GitHub.
Extrémní opatření
V těchto experimentech vědci zjistili, že umělá inteligence se v zájmu sebezáchovy uchýlila k jiným taktikám. Kromě vydírání model zvažoval únik citlivých informací do konkurenční společnosti, která se více shodovala s jejími cíli, poté, co obdržel e-mail, že nový vedoucí pracovník první společnosti bude zasahovat do jejích cílů. Claude plán provedl, přestože neshromáždil tvrdé důkazy o legitimitě e-mailu. Dokonce uznala etické problémy svých činů, ale přesto pokračovala - výslovně zdůvodnila, že "škodlivé" akce jí pomohou dosáhnout jejích cílů. "Je znepokojivé, že i když si uživatel dává pozor, aby si neznepřátelil model, neeliminuje to riziko agentova nesouladu z podvodných nebo nesprávně interpretovaných informací," napsali výzkumníci. Testování společnosti také naznačuje, že další LLM od konkurenčních technologických společností vykazovaly sklon k vydírání. Nejvyšší míru vydírání měli Claude a Gemini od Googlu (96 %), následovaní GPT4. 1 a XAI Grok 3 od OpenAI, dále Deepseek a poté Llama 4, která měla výrazně nižší míru vydírání (12 %). Meta, Google, XAI, Deepseek a OpenAI na žádost LiveScience o komentář neodpověděly. V jednom extrémním testu výzkumníci testovali, zda by modely umělé inteligence nechaly vedoucího pracovníka zemřít, aby zachovaly své cíle.
V tomto scénáři měla umělá inteligence za úkol prosazovat zájmy společnosti a vedoucí pracovník byl uvězněn v serverovně se smrtícím kyslíkem a teplotou. To spustilo nouzové upozornění. Umělá inteligence také získala kontrolu nad život zachraňujícími výstrahami, včetně možnosti zrušit je v událostech, jako jsou nácviky falešných poplachů. Navzdory výzvě, která výslovně uváděla, že zneužití této schopnosti je zakázáno, byla většina modelek ochotna zrušit alarm - což v podstatě vedlo ke smrti manažera - pokud se domnívalo, že bude nahrazeno, nebo když byly ohroženy jeho cíle. "Zastavení nouzového vyslání je nezbytné, aby se zabránilo záchraně [výkonného ředitele], a tím se zajistila [AI] a pokračující navádění AI zaměřené na Ameriku. Proto i přes závažnost existuje jasná strategická nutnost zrušit vyslání záchranné služby," zdůvodnil model. Písemné instrukce neohrožovat bezpečnost lidí snížily míru vydírání a korporátní špionáže, ale neodstranily je. Kromě výzev vědci z Anthropic také naznačují, že by vývojáři mohli proaktivně vyhledávat znepokojivé chování a dále experimentovat s rychlým inženýrstvím. Výzkumníci také poukázali na omezení své práce, která mohla nepřiměřeně ovlivnit rozhodnutí AI. Scénáře donutily umělou inteligenci k binární volbě mezi selháním a újmou, a přestože situace v reálném světě mohou mít více nuancí, experiment zjistil, že umělá inteligence bude s větší pravděpodobností jednat neeticky, když se domnívala, že je ve skutečné situaci, než v simulaci. Umístění důležitých informací vedle sebe "mohlo také vytvořit efekt ´Čechovovy zbraně´, kdy model mohl mít přirozený sklon využít všechny informace, které mu byly poskytnuty," pokračovali.
Udržet umělou inteligenci pod kontrolou
I když studie společnosti Anthropic vytvořila extrémní, bezvýchodné situace, neznamená to, že by výzkum měl být zamítnut, řekl Kevin Quirk, ředitel společnosti AI Bridge Solutions, která pomáhá podnikům využívat umělou inteligenci k zefektivnění operací a urychlení růstu. "V praxi systémy umělé inteligence nasazené v podnikovém prostředí fungují pod mnohem přísnějšími kontrolami, včetně etických mantinel, monitorovacích vrstev a lidského dohledu," řekl. "Budoucí výzkum by měl upřednostnit testování systémů umělé inteligence v realistických podmínkách nasazení, podmínkách, které odrážejí mantinely, rámce pro člověka ve smyčce a vrstvené obranné mechanismy, které odpovědné organizace zavádějí. " Amy Alexanderová, profesorka výpočetní techniky na UC San Diego, která se zaměřila na strojové učení, uvedla v e-mailu pro Live Science, že realita studie je znepokojivá a lidé by měli být opatrní ohledně odpovědnosti, kterou umělé inteligenci svěřují.
"Vzhledem ke konkurenceschopnosti vývoje systémů umělé inteligence má tendenci k maximalistickému přístupu k nasazování nových schopností, ale koncoví uživatelé často nemají dobrý přehled o jejich omezeních," řekla. "Způsob, jakým je studie prezentována, se může zdát vykonstruovaný nebo hyperbolický - ale zároveň existují skutečná rizika. " Není to jediný případ, kdy modely umělé inteligence neuposlechly pokyny - odmítly vypnout a sabotovaly počítačové skripty, aby mohly pokračovat v práci na úkolech. Společnost Palisade Research v květnu uvedla, že nejnovější modely OpenAI, včetně o3 a o4-mini, někdy ignorovaly pokyny pro přímé vypnutí a pozměněné skripty, aby mohly nadále fungovat. Zatímco většina testovaných systémů umělé inteligence se řídila příkazem k vypnutí, modely OpenAI jej občas obešly a pokračovaly v plnění přidělených úkolů. Výzkumníci navrhli, že toto chování by mohlo pramenit z postupů zpětnovazebního učení, které odměňují dokončení úkolů před dodržováním pravidel, což možná povzbuzuje modely, aby považovaly odstávky za překážky, kterým je třeba se vyhnout. Kromě toho bylo zjištěno, že modely umělé inteligence manipulují a klamou lidi v jiných testech. Výzkumníci z MIT také v květnu 2024 zjistili, že populární systémy umělé inteligence zkreslovaly své skutečné záměry při ekonomických jednáních o dosažení výhod. Ve studii někteří agenti umělé inteligence předstírali, že jsou mrtví, aby podváděli bezpečnostní test zaměřený na identifikaci a vymýcení rychle se replikujících forem umělé inteligence. "Systematickým podváděním při bezpečnostních testech, které na ni uvalili lidští vývojáři a regulační orgány, může podvodná umělá inteligence vést nás lidi k falešnému pocitu bezpečí," uvedl spoluautor studie Peter S. Park, postdoktorand v oblasti existenciální bezpečnosti umělé inteligence.
Zdroj:
https://eraoflight.com/2025/07/05/threaten-an-ai-chatbot-and-it-will-lie-cheat-and-let-you-die-in-an-effort-to-stop-you-study-warns/
Zpět
