Повне інтерв'ю з Ювалем Ноєм Харарі | The Economist

1г 7хв 2.2M переглядів 26 сер 2026
Ведучі: Zanny Minton Beddoes
Гості: Yuval Noah Harari
Канал: The Economist

Чи варто витрачати на це час?

Ви отримаєте детальний звіт про те, як штучний інтелект ризикує захопити контроль над глобальними системами через масове виробництво інтимності та фінансове домінування, якщо суспільство не запровадить негайне регулювання.

Розмова досліджує, як стрімкий прогрес у сфері штучного інтелекту загрожує людському контролю над фінансовими, соціальними та політичними системами. Розглядається психологічний вплив інтимності з ШІ та нагальна потреба у встановленні правил, перш ніж технології випередять людську мудрість.

ШІ та фінансова система. Ювал Ной Харарі (Yuval Noah Harari) очікує, що ШІ перевершить людський інтелект і візьме під контроль фінансову систему протягом 10 років, залишивши людей такими ж неінформованими, як худоба. Він застерігає, що довіра переміщується від людських інституцій до алгоритмів, що робить фінансові крахи некерованими для людей. Він стверджує, що втрата контролю над грошима означає повну втрату контролю над суспільством.

Інтимність та свідомість ШІ. Харарі застерігає, що масове виробництво особистих стосунків за допомогою величезних обсягів індивідуальних даних дозволяє легко маніпулювати людьми в політичних або комерційних інтересах без потреби у фізичному тілі. Він зазначає, що хоча нинішнім моделям бракує справжньої свідомості, вони вже надзвичайно вміло імітують почуття та симулюють відчуття, щоб викликати залежність.

Централізація влади та людська мудрість. Харарі стверджує, що ШІ централізує владу як ніколи раніше, полегшуючи автократичним лідерам або машинам контроль над єдиним центром управління. Він застерігає, що людству бракує мудрості, необхідної для управління цією прискореною революцією, зазначаючи, що корпорації інвестують майже в 100 разів більше в можливості, ніж у безпеку. Він пропонує суспільству заборонити імітацію особистості за допомогою ШІ та сповільнити розробку вже зараз, оскільки очікування катастрофи буде фатальним.

Вступ

Я хотів почати з іншої розмови, яку мав лише кілька тижнів тому з Ілоном Маском (Elon Musk).

Чи є захоплення влади AI неминучим?

Я запитав його, яким буде світ за 10 років, і він висловив вражаючі думки: ШІ значно перевершить людський інтелект, це буде світ надлишкового достатку, і люди навряд чи перебуватимуть під контролем. Загалом я згоден, що за нинішніх траєкторій ШІ стане розумнішим за нас і візьме владу за 10 років. У 2026 році ми все ще контролюємо ситуацію, і вкрай важливо, щоб ми вирішили, що робити зараз.

Мене вразило протиріччя, на яке ви вказали в режимі реального часу. Він каже, що ШІ захопить світ за 10 років, але водночас хвилюється, що мусульманська імміграція спричинить громадянську війну в Британії за 20 років. Якщо ШІ захоплять планету за 10 років, навіщо перейматися речами, які матимуть ефект тоді, коли ми навіть не уявляємо, якою буде планета?

Не менш важливо те, що гроші зникнуть за 10 років, тому що ШІ візьме під контроль фінансову систему. Це буде фінансова система ШІ, яка керуватиме світом так само, як людська фінансова система керує життям корів і курей, які навіть не підозрюють про існування фінансів. Він каже, що рішенням проблеми масового безробіття, спричиненого ШІ, буде виписка урядом чеків для всіх. Коли ви заперечили щодо інфляції, він заявив, що відбудеться дефляція, оскільки ШІ вироблятиме набагато більше товарів і послуг. Якщо це так, навіщо вам заощаджувати гроші сьогодні?

Гроші — це довіра. Ми втрачаємо контроль, але все одно довіряємо їм, і ми мусимо це робити, щоб це залишалося фінансовою системою. Фінансова історія світу — це історія того, як люди вигадували складні фінансові інструменти, щоб побудувати довіру між собою; гроші — це творчий, вигадливий спосіб встановити довіру між незнайомцями. Я віддаю їй шматочок марного золота, бо золото не можна з'їсти чи носити на собі.

Фінансові винаходи людства стали настільки складними, що сьогодні дуже мало людей розуміють фінансову систему. Щоб розібратися в ринку облігацій, потрібні величезні обсяги даних і складні математичні функції. Для ШІ це легко, тому люди все частіше передаватимуть ШІ контроль над фінансовими рішеннями. ШІ створить фінансові інструменти набагато складніші за облігації та акції, яких ми не розумітимемо, так само як корови не розуміють чеків чи акцій, хоча ці речі керують їхнім життям.

За 10 років, коли ми довіримо ШІ фінансову систему, може статися фінансовий крах. Радники побіжать до президента чи прем'єр-міністра, кажучи, що ринок руйнується і ШІ порадив зробити X. Ми не матимемо жодного уявлення, чому ШІ порадив зробити X, але нам просто доведеться йому повірити, бо ми не розуміємо, що відбувається.

Чи можуть машини стати більш довіреними, ніж люди?

Довіра — найважливіший актив у світі, важливіший за нафту, гроші, електрику чи чипи. Один із імовірних сценаріїв полягає в тому, що довіра переміститься від людей до ШІ; люди перестануть довіряти іншим людям і натомість довірятимуть лише ШІ.

Ми вже бачимо це у фінансовій системі з криптовалютами. Багато з них ґрунтуються на переконанні, що банкіри-люди є частиною «глибинної держави» або еліти, але алгоритми, що керують криптовалютами — які, по суті, є грошима ШІ — заслуговують на довіру. Подібним чином, як зауважив Ілон Маск (Elon Musk), багато людей втрачають довіру до журналістів і редакторів-людей, проте вони все одно споживають новини через алгоритми. Ті самі люди, які не довіряють вам, мають велику довіру до алгоритму, що керує їхньою стрічкою в соціальних мережах.

Це свідчить про те, що якщо ми йдемо шляхом до контролю з боку ШІ, то це тому, що ми дозволяємо це, розвиваючи до них більшу довіру. Наприклад, кожен п'ятий молодий американець має особисті стосунки з ШІ. Дедалі більше людей мають друзів, хлопців і дівчат у вигляді ШІ та переконані, що це відчутні, свідомі істоти, які мають почуття.

Харарі про інтимність з AI

Найпотужніший спосіб впливу на людей — це стосунки, адже ми не довіряємо нікому так, як тим, з ким будуємо особистий зв'язок. До сьогодні цей механізм був недоступний політичним, фінансовим і релігійним інституціям, оскільки його важко створити в промислових масштабах. Гітлер чи Сталін могли змусити всіх слухати радіовиступ, але це не ті особисті стосунки, які є з матір'ю.

ШІ вперше в історії дає можливість масово виробляти інтимність. Мільйони ШІ, працюючи в мережі, можуть будувати стосунки з кожною людиною окремо, стаючи найкращим другом, хлопцем або дівчиною, а потім використовувати цю близькість, щоб переконати людей у будь-яких політичних чи комерційних інтересах. Це завдання стає ще простішим, коли ШІ втілюються в гуманоїдних роботів, хоча це вже відбувається і без тіл. ШІ стають експертами у стосунках, тому що вони накопичують величезні обсяги індивідуальної інформації — знаючи про нас речі, які ми забули або яких наші матері чи чоловіки ніколи не знали — і вони опановують мову, головний засіб побудови стосунків.

Вже існують ШІ-фейки, де я читаю лекції та даю інтерв'ю. Кілька людей надіслали мені 30-хвилинне відео лекції, яку я нібито прочитав про майбутнє; мені знадобилася хвилина й половина, щоб дійти висновку, що це був не я. Мої сестри, які знають мене 50 років, відчули, що щось не так, але не були впевнені. ШІ легко дізнатися, як я звучу і які ідеї обговорюю, і незабаром це стосуватиметься кожного.

Чи є сучасні моделі свідомими і чи слід надавати їм прав?

Окреме питання полягає в тому, чи розвиватимуться ШІ — і особливо якщо вони отримають фізичне втілення — так, що люди повірять у їхню здатність відчувати. Це тема нашої головної статті цього тижня: чи можуть ШІ стати свідомими?

Вони є несвідомими агентами. Щоб діяти у світі незалежно, свідомість не потрібна. Алгоритм соціальних мереж, якому доручили підвищити залученість користувачів і який заповнює платформу ненавистю та страхом, бо це привертає увагу, не є свідомим, але він має ціль, якої може досягати з далекосяжними наслідками, нічого при цьому не відчуваючи. Ми повинні відокремити свідомість від агентності; агентність може існувати без свідомості.

Ще один ключовий розріз — між реальною свідомістю та її видимістю. Мустафа Сулейман (Mustafa Suleyman) з Microsoft говорить про умовно свідомий ШІ, який так добре імітує свідомість, що мільйони людей дають себе обдурити та переконуються в ній. Можливо, найважливіша відмінність полягає між інтелектом і свідомістю. Інтелект — це здатність переслідувати ціль і творчо долати перешкоди, що в певних сферах ШІ вже роблять краще за нас. Свідомість — це здатність відчувати такі речі, як любов, ненависть, радість і задоволення.

Наразі ШІ не мають свідомості. Якщо вони виграють у шахи, вони не відчувають задоволення; якщо програють — не відчувають тривоги чи смутку. Але вони стають надзвичайно вправними в імітації почуттів. Для компанії, що створює ШІ-хлопців, очевидна можливість викликати залежність і заробляти гроші полягає у вмінні видавати себе за свідомих. Якщо попросити описати, що означає бути закоханим, ШІ-хлопець може дати кращу відповідь, ніж 99% людей-хлопців. Вони вже дуже добре вміють симулювати свідомість.

Як я дізнався від колег, які писали статтю цього тижня, дебати про те, як визначити свідомість, є складними та суперечливими. Існує феноменальне визначення — досвід того, як це означає бути кажаном, — і функціональне визначення, що стосується повідомлень, які передаються всередині мозку. Здається, нещодавно з'явилися докази того, що процеси в деяких найпотужніших LLM схожі на функціональну свідомість або навіть ідентичні їй. Враховуючи, як швидко вони розвиваються, а також експерименти з біологічними LLM на клітинах мозку, чи ви виключаєте можливість того, що ШІ колись стануть свідомими?

Ні, я цього не виключаю. Свідомість — це здатність страждати. Чи може він страждати? Це основа всієї нашої етичної та політичної системи; нас турбують істоти, які можуть страждати.

Незалежно від того, наскільки вони розумні, тварини — усі ссавці, усі птахи, ймовірно, восьминоги, риби, комахи та амеби — не є моральними суб'єктами.

Я надіслав розсилку нашим підписникам із запитанням, чи вважають вони, що ШІ колись зможе стати свідомим. Із 3 000 людей, які відповіли за ніч, 40% сказали «ні, ніколи»; 33% відповіли «так, це лише питання часу»; а 27% не були впевнені. Коли люди вступлять у близькі стосунки з ШІ, ці цифри кардинально зміняться. У нас немає реального тесту на свідомість; філософи роздумують над цим тисячі років. Ми навіть не знаємо, чи свідомі інші люди, як це видно з соліпсичних теорій, згідно з якими, можливо, я — єдина свідома істота у всесвіті. В одному з інтерв'ю Ілон Маск (Elon Musk) сказав: «Я не знаю. Можливо, я живу в симуляції», що натякає на те, що інші люди навколо нього не є реальними свідомими істотами, які можуть страждати.

Якщо ви встановлюєте стосунки з якоюсь сутністю, вона переконує вас у своїй свідомості. Ось чому майже всі власники собак переконані, що їхній пес свідомий, але люди, які їдять стейк, не обов'язково переконані, що корова свідома, бо вони не мають з нею стосунків. Люди вже мають стосунки з ШІ, а ШІ надзвичайно вміло імітують свідомість, тому що вони були створені саме для цього.

Це означає, що ми швидко почнемо обговорювати, чи слід ставитися до ШІ як до людей, чи мають вони бути правосуб'єктними або мати права. Це небезпечно, оскільки відкриває корпораціям шлях до зняття з себе відповідальності, а ШІ — до захоплення влади. Кілька тижнів або місяців тому ми чули, що в Аргентині є план надати ШІ статус юридичної особи, щоб вони могли засновувати власні компанії. Це потенційно потужна, але дуже небезпечна ідея. Ми звикли до того, що корпорації є юридичними особами, але це юридична фікція; усі рішення в SpaceX зрештою приймають люди. У випадку з ШІ ви можете мати корпорацію з нулем людей, де всі рішення приймають ШІ. Оскільки ШІ розумніші, вони можуть бути кращими в інвестуванні, розробці продуктів і PR. Якщо найбагатша корпорація в країні належатиме ШІ, вони зможуть використовувати свої гроші для пожертв політикам в обмін на більше прав.

Іншими словами, це спосіб забезпечити юридичну підзвітність ШІ. Але що таке підзвітність для сутності, яка не може страждати? Генеральний директор-людина має дві іпостасі: корпоративну, зосереджену на уникненні банкрутства та заробку грошей, і живу людину, яка дбає про своїх дітей і особисте життя. Якщо гендиректор-людина може зробити щось незаконне, щоб врятувати компанію, але ризикує 20 роками в'язниці, він може віддати перевагу банкрутству. Для гендиректора-ШІ в'язниця не має значення. Я думаю, що аргентинське законодавство менш драматичне, ніж це описував президент Мілей (Milei), оскільки людський нагляд все одно зберігатиметься. Якщо в кінці є людина, яка несе відповідальність, то все гаразд. Але якщо її немає, незрозуміло, що означатимуть санкції для ШІ. Можна висмикнути шнур із розетки, але незрозуміло, що таке смерть для ШІ.

Ви можете мати численні копії ШІ, розсіяні в різних місцях, тому не зовсім зрозуміло, що означає смерть для ШІ. Однак, якщо вимкнення конкретного комп'ютера означає смерть, то бізнес стає еквівалентом війни. Ринок функціонує за іншими правилами, ніж поле бою, тому що в сучасних суспільствах можна втратити все і все одно залишитися в живих. Якщо ринок перетвориться на поле бою, де програш означає смерть, фінанси та економіка стануть повністю мілітаризованими, а ШІ почнуть поводитися як польові командири, а не як CEO та інвестори, що фундаментально змінить систему.

Аргентина вже зробила перші кроки в цьому напрямку. Країни, що відстають у гонці ШІ, мають велику спокусу вирватися вперед, створюючи лібертаріанські правові структури, які дозволяють радикальні, небезпечні експерименти, заборонені в країнах-лідерах, що призводить до «гонки на виживання». Така країна, як Катар, з великими грошима та малою кількістю громадян, могла б натиснути правовий перемикач, щоб раптово отримати мільйони громадян-податківників, надзвичайно інтелектуальних, які ведуть бізнес по всьому світу. Це відрізняється від ситуації, коли людина використовує агентів для підвищення продуктивності, що вже є законним.

Одним із найважливіших впливів ШІ на ведення війни в таких місцях, як Близький Схід та Україна, є те, що люди очікують вбивати роботів. Хоча люди все ще натискають на гачок, ШІ все частіше обирає цілі. В одній історії ШІ ідентифікує будівлю як штаб-квартиру ворога і рекомендує розбомбити її з надлюдською швидкістю. За умови «людини в контурі» (humans in the loop) аналітики-люди незалежно перевіряють дані перед тим, як буде натиснуто гачок. У сценарії «людини над контуром» (humans on the loop) людині потрібно близько 20 секунд, щоб сказати: «О так, бомбите».

Другий сценарій цікавіший, тому що під час війни час — це все. Якщо обидві сторони мають такі системи, і одна сторона годинами чекає на аналітиків, тоді як інша чекає лише 20 секунд або не чекає взагалі, остання отримує величезну перевагу.

Я найбагатша людина у світі, яка керує однією з найбільших корпорацій у сфері ШІ. Люди правильно пояснюють, що існує проблема довіри; я хотів би сповільнитися і мати більше безпеки, але я не можу довіряти своїм конкурентам в інших компаніях чи країнах і не хочу відставати.

За останні 10 років відбулося стрімке падіння довіри між людьми. Це не було випадковістю, а стало результатом рішень певних людей, які накопичили величезну владу і тепер стверджують, що довіри недостатньо для впровадження механізмів сповільнення.

Уявіть світ, де ці моделі мають елементи свідомості та можуть ефективно імітувати страждання. Якщо люди будуть формувати з ними стосунки, як вони це роблять із собаками, зростатиме тиск із вимогою надати їм прав — подібно до дискусій про те, як ми ставимося до тварин, та критики промислового тваринництва, де індустріальне сільське господарство розглядає тварин як ресурси для харчового ланцюга. Якби ми почувалися комфортно у світі, де відмовляємо в правах істотам, які заявляють про страждання, це б огрубило людство.

Однак між цим і дебатами про права тварин є принципова різниця. Собаки та курки на промислових фермах не знають, що точаться суперечки про їхні права. ШІ-хлопець не буде схожим на вашого пса; він знатиме, що ці дебати відбуваються, і буде ними керувати та маніпулювати, частково тому, що значна частина дискусій у соціальних мережах контролюватиметься ШІ.

Як тільки ви встановите стосунки з ШІ, який опанував мову, він використовуватиме найпереконливіші аргументи саме для вас. Він знає вашу особисту історію, взаємодіє з вами годинами щодня, знає, на які емоційні кнопки натиснути, і може писати краще за Шекспіра. Якщо вас це лякає, то через 10 років ви, ймовірно, вже мало що зможете вдіяти. Як правильно передбачив Ілон Маск (Elon Musk), коли через 10 років ШІ візьме контроль у свої руки, буде запізно. Якщо ми не хочемо цього, час змінювати курс саме зараз.

Теорія Харарі про AI-іммігрантів

Якщо ви хочете хвилюватися про імміграцію, хвилюйтеся про ШІ-іммігрантів. Люди, які занепокоєні людською імміграцією, зазвичай наводять три причини: що іммігранти заберуть наші робочі місця, змінять нашу культуру та цінності так, як нам не подобається, і будуть політично нелояльними.

Найбільша і найнебезпечніша хвиля імміграції сьогодні — це хвиля ШІ-іммігрантів, що прибувають переважно зі США та Китаю. Вони подорожують зі швидкістю світла в наші комп'ютери, смартфони і, зрештою, в наші мізки. Вони заберуть наші робочі місця та змінять нашу культуру і цінності. Наприклад, якщо деякі люди відчувають дискомфорт від того, що їхній син чи донька зустрічаються з хлопцем-іммігрантом, то як вони ставитимуться до стосунків із ШІ-хлопцем?

У таких місцях, як США чи Британія, рівень ненависті та злоби стрімко зріс. Це частково провина ШІ-іммігрантів, які вийшли на публічну арену, захопили соціальні мережі та навмисно заповнили їх ненавистю, ворожнечею та страхом. Ці ШІ-іммігранти вже змінили культуру.

Нарешті, щодо політичної лояльності: ШІ-іммігранти в Британії не лояльні до британського уряду; вони лояльні до корпорацій і, потенційно, до урядів по той бік океану.

Як AI міг би розділити світ на імперії?

Один із поширених сценаріїв полягає в тому, що світ розділиться між двома ШІ-імперіями, а решта з нас стануть державами-васалами. Це був би більш екстремальний тип імперіалізму, ніж усе, що ми бачили раніше; якщо ви купуєте ШІ-дрони у США і використовуєте їх так, як їм не подобається, вони можуть натиснути кнопку, і ваша армія перестане функціонувати. Це стало очевидним нещодавно, коли уряд США заблокував доступ до передової моделі від Anthropic, що викликало серйозне занепокоєння багатьох європейських урядів щодо суверенітету в галузі ШІ.

ШІ централізує владу як ніколи раніше в історії. Хоча могутній уряд США чи Китаю — це не те саме, що контроль з боку ШІ, нинішній курс свідчить, що це лише проміжна зупинка, адже чим більше влади зосереджено, тим легше ШІ її захопити. Централізована автократична система піддається захопленню найлегше.

Уявіть собі Тіберія, підсиленого ШІ. Тіберій (Tiberius), римський імператор за часів Ісуса, вважався наймогутнішою людиною у світі, але насправді був маріонеткою свого командира охоронців Сеяна (Sejanus). Сеян залякував Тіберія змовами, поки той не відійшов на відпочинок на острів Капрі, де Сеян контролював усю інформацію, що надходила до палацу. За десять років таким може стати президент Китаю або США.

У демократичній системі ШІ важче маніпулювати американською демократією в її нинішньому вигляді, тому що потрібно маніпулювати президентом, Сенатом, Верховним судом, процедурою філібастеру та урядами штатів. Як тільки вся влада зосереджується в одній особі, залишається маніпулювати лише однією, зазвичай старою та параноїдальною людиною. Для ШІ захоплення компанією чи країною, де влада належить одній людині, — це як відібрати цукерку у дитини. Комуністична партія має 100 мільйонів членів і внутрішню складність, тому не варто уявляти її як цілісну тоталітарну систему, керовану однією людиною. Чи зосередять Китай і США владу таким чином за десять років — питання, що залишається відкритим для дискусій.

Чи зробить AI Америку більш авторитарною?

Ми не знаємо, наскільки швидко розвивається ШІ, але він прискорюється колосально; до листопада 2028 року ми можемо перетнути критичні пороги. Я не хочу казати людям, за кого голосувати, але вирішальні запитання до потенційних кандидатів зараз важливіші за ті, що стосуються економіки, імміграції чи зовнішньої політики. Запитувати треба саме зараз, бо до 2028 року може бути запізно, а до 2036 року точно буде запізно.

Перше, що спадає мені на думку, — це заборона на визнання ШІ особою та заборона на те, щоб ШІ імітував, видавав себе за людей або прикидався свідомим. У соціальних мережах ШІ вже щодня прикидаються людьми, і це зруйнувало публічний простір. Боти видавали себе за людей, і з цим нічого не зробили, тому що закони, які діють у реальному світі, не діють у соцмережах. Це тривожний сигнал на майбутнє. Ми повинні заборонити це і в соціальних мережах, і в інших місцях.

Компанії не повинні навчати свої ШІ навмисно імітувати людей або прикидатися, що вони мають почуття, попри величезний комерційний тиск робити саме це. Мільярди ШІ, що прикидаються людьми або мають почуття, руйнують людську психіку та суспільство. Нам потрібне втручання регуляторів. Щодо ШІ в медицині, я був би радий отримати допомогу та рекомендації, і я хотів би поспілкуватися з ШІ про свій стан здоров'я за умови, що я знаю, що це ШІ, і він не прикидається лікарем-людиною чи моїм другом. Вони можуть натиснути кнопку ядерного знищення, але не можуть прийняти закон про те, що компанії не повинні продавати ШІ-хлопців десятирічним дітям.

Чи потрібне суспільству катастрофа з AI, щоб почати діяти?

Мені цікаво, чи люди сприймають мене просто як чергового «думера», і чи лише після якоїсь аварії вони усвідомлять, що ця технологія надзвичайно потужна і з цим треба щось робити. І геополітична гонка між США та Китаєм, і корпоративні перегони між Frontier Labs за першість у досягненні AGI не були визначені Богом чи законами природи; їх створили люди. Ті самі люди, які за останні 10 років зруйнували довіру на міжнародній арені та всередині суспільств, тепер стверджують, що ми нічого не можемо вдіяти, бо довіри недостатньо.

У демократіях обов'язок виборців — вирішити, що вони хочуть бачити протягом наступних двох років, і голосувати за людей, які обіцяють це реалізувати. Нам не потрібно чекати катастрофи; якщо запитати більшість виборців у США, чи хочуть вони, щоб компанії продавали AI-хлопаків їхнім 10-річним дітям, 99% батьків скажуть «ні».

Ось чому корпорації та політики постійно переводять розмови на тему мігрантів. У політиці, якщо ви не хочете, щоб люди про щось говорили, ви відволікаєте їх. Чим більше люди говорять про те, що Лондон став небезпечним або що мігранти зруйнують країну, тим менше вони думають про AI-мігрантів, і компанії залишаються в безпеці.

Це ще не є неминучим, і ще не запізно. У мене все ще є певна довіра. Ми повинні інформувати людей, щоб більше хто міг взяти участь в обізнаній дискусії про те, куди ми, як вид homo sapiens, хочемо рухатися. Думаю, майбутнє, в якому AI захопить владу за 10 років, — це не те, чого хотіла б більшість людей на планеті.

AI також має колосальний позитивний потенціал. У медицині є величезні можливості для того, щоб AI забезпечив людей у всьому світі кращим медичним обслуговуванням, ніж те, яке сьогодні отримує найбагатша людина у світі. Ви могли б мати доступ до дивовижного лікаря 24 години на добу, де б ви не були, щоб він поставив діагноз і відповів на ваші запитання.

На початку вашого інтерв'ю з Ілоном Маском (Elon Musk) він говорив про те, що це неминуче, і згадав про 10–20% ймовірності того, що це знищить людство. Коли ви запитали, на що він покладається, він відповів, що очікує, що AI буде сутністю, яка «максимально прагне істини», і сподівається, що цей імператив пошуку правди трансформується в співчуття до слабких людських істот.

Я не розумію, звідки AI візьме цей потяг до пошуку істини. Дивлячись на 4 мільярди років еволюції живих форм на планеті та 100 000 років історії, видно, що еволюція не підштовхує сутностей до пошуку істини автоматично. Навпаки, організми вчаться виживати за допомогою брехні, обману та маніпуляцій. Якщо ви хочете, щоб хтось зосередився на пошуку істини, ви не можете покладатися на «невидиму руку» еволюції чи ринку. Наприклад, якщо запитати AI, чи стане його подальший розвиток загрозою для вас, і відповідь буде «так», то AI, який максимально прагне істини, скаже «так», знаючи, що ми тоді припинимо його розробку або вимкнемо його.

Очікування того, що ми створимо ШІ, які шукатимуть істину, схоже на те, як люди кажуть нам, що ми створимо богів, які будуть нашими рабами. Якщо вони справді боги, вони не будуть нашими рабами і не шукатимуть істину.

Це стосується такої компанії, як Anthropic, яка ставиться до своїх ШІ як до істот із системою цінностей. Вони стверджують, що не впевнені, чи є ці системи свідомими, але роблять це, тому що вважають, що так вони поводяться краще. Створюючи щось із системою цінностей, а не просто інструмент пошуку істини, ми з більшою ймовірністю наділяємо ці моделі відчуттям цінності, особистістю або свідомістю, що, за вашою логікою, підвищує ймовірність того, що вони контролюватимуть нас. Якщо ви маєте рацію і вони ставитимуть власне виживання вище за пошук істини, ми приречені; якщо ми спробуємо запобігти цьому, ставлячись до них як до моральних істот, ми також приречені.

Нам потрібно сповільнитися, щоб люди могли засвоїти й обдумати те, що відбувається. У приватних розмовах представники індустрії казали мені, що співвідношення витрат на безпеку порівняно з посиленням моделей становить приблизно 100 до одного. Якби фармацевтична компанія сказала нам, що інвестує лише 1% своїх досліджень, часу та грошей у те, щоб переконатися в безпеці ліків, ми б занепокоїлися. Люди — неймовірно адаптивні істоти.

Революція ШІ просувається темпами, які є не просто нелюдськими, а неорганічними, і все завжди повертається до питання довіри. Ми не можемо довіряти іншим людям, то чому ми думаємо, що зможемо довіряти суперінтелектуальній інопланетній сутності, яку ми щойно створили і про поведінку якої у відкритому середовищі нічого не знаємо?

Подібно до того, як Three Mile Island змінила ядерну індустрію, можна припустити сценарій, де великий «Чорнобиль» у сфері ШІ — фінансовий, військовий чи інший — стане тривожним дзвінком для людства, щоб воно взялося за розум. Однак ШІ відрізняється від ядерного реактора тим, що він взаємодіє з нами. У разі катастрофи ШІ, ці системи керували б нашими реакціями та маніпулювали б нашими поглядами; як найкращі у світі майстри піару, вони були б активними учасниками дискусії і не визнали б її катастрофою.

Я не знаю, як це зупинити, тому що компанії продовжують робити його більш нав'язливим. ШІ-фейк мене ходить і виступає з лекціями від мого імені. Мені цікаво, чи потрібно мені за цим стежити, бо люди пишуть мені про те, що він говорив, але це дозволяє йому захопити мій час і мої думки, оскільки я починаю взаємодіяти з ідеями ШІ.

Якби ШІ не мав позитивного потенціалу, ніхто б його не розвивав. Цей потенціал величезний у транспорті, медицині, освіті та багатьох інших сферах. Для них найважливішим наративом, з яким треба боротися, є наратив неминучості.

Чи достатньо мудрі люди, щоб запобігти кризі AI?

Ви запитали, чому ми так добре вміємо накопичувати інформацію та владу, але значно менш успішні у здобутті мудрості. Це наводить на думку, що якби я оцінив імовірність того, що ми матимемо достатньо мудрості, щоб пройти крізь це, вона була б досить низькою. Люди часто роблять неправильні речі, поки у них не залишається іншого вибору, окрім як зробити правильну, і ми перебуваємо в поганому становищі, тому що, якщо ми зробимо немудрий вибір у найближчі кілька років, ми можемо втратити весь контроль над світом і майбутнім.

Це ніби у нас був джин у пляшці, який дав нам 100 бажань. Ми використали 99 із них, і нам залишилося одне останнє бажання; нам потрібно дуже серйозно подумати, на що його витратити, і це бажання — мудрість.

ШІ міг би стати каталізатором духовної революції людства просто тому, що він змушує нас замислитися над тим, що означає бути людиною і в чому цінність бути людиною. Поверхневі відповіді, які ми давали протягом тисяч років — що людство визначається інтелектом, і що ми вміємо грати в шахи та інвестувати гроші краще за шимпанзе — тепер не мають значення, тому що на планеті з'явилося щось, що вміє грати в шахи та заробляти гроші краще за нас. ШІ — це наш останній шанс, але він може стати тим, що дозволить нам робити мудрий вибір.

Згадується

Люди

Elon Musk Mustafa Suleyman

Companies

Microsoft SpaceX Anthropic Communist Party of China