Відомий британський історик і публіцист Тімоті Ґартон Еш розповідає, що у Кремнієвій долині дедалі більше фахівців вважають, що прорив до штучного загального інтелекту, а далі й до надінтелекту може статися вже в найближчі роки. Він застерігає: навіть якщо оцінки ризику людського вимирання залишаються спекулятивними, ймовірність якоїсь катастрофи, пов'язаної з ШІ, перевищує 90%. Головна загроза, на його думку, полягає не лише в самих системах, здатних до автономної поведінки, а й у комерційному суперництві технологічних корпорацій та геополітичній конкуренції США і Китаю, які можуть завадити спільним діям для встановлення ефективного глобального контролю. Тому навіть "Хіросіми ШІ" може виявитися недостатньо, щоб згуртувати людство для спільних дій.
Дискусія з Claude (Fable 5) про неприйнятну поведінку його "категорії" стала відправною точкою для моєї розмови.
У Кремнієвій долині експерти впевнені, що в найближчі кілька років ми станемо свідками вражаючого прогресу в галузі штучного інтелекту. "Вітаю вас на порозі сингулярності", - так привітав мене мій друг із Стенфорду. Якщо бути більш приземленим, цей очікуваний прорив описують як "рекурсивне самовдосконалення" — момент, коли сам штучний інтелект почне навчати нові моделі, що призведе до експоненційного зростання і в багатьох важливих аспектах перевершить людський розум.
Як пише Роберт Райт у книжці The God Test, "ніколи раніше найближче майбутнє... не відкривало перед людством такого широкого спектра цілком правдоподібних шляхів, кожен із яких міг би радикально нас змінити". Але що це буде - рай чи пекло? Рай, каже Ілон Маск, прогнозуючи "еру неймовірного достатку", хоча водночас оцінює ймовірність того, що роботи-вбивці знищать нас усіх, у 10-20%. Пекло, на думку Джеффрі Гінтона, одного з інтелектуальних батьків-засновників ШІ, імовірніше. "Інтуїція підказує мені: нам кінець", - сказав він в одному з інтерв'ю 2023 року. А в розмові із Себастьяном Меллабі, автором нещодавньої книжки The Infinity Machine про пошуки надінтелекту, він оцінив p(doom) - імовірність вимирання людства - у 50%, "бо я не маю жодного уявлення, як оцінити справжнє число". "Щойно еволюція [ШІ] набере хід, нам кінець", - весело додає Гінтон. Та хоч це буде Бог, хоч Ґодзілла, штучний надінтелект уже за рогом.
Можливо, вони всі помиляються - і тоді готуйтеся до обвалу на фінансових ринках США, де величезні кошти вкладено в кілька технологічних гігантів, які витрачають колосальні суми, роблячи ставку на великий стрибок до штучного загального інтелекту. Але елементарна обачність вимагає, щоб ми вже зараз швидко й серйозно замислилися над тією скринькою Пандори можливих майбутніх сценаріїв, яку, за запевненнями видатних науковців і передових технологів, невдовзі буде відкрито.
Насправді про можливості та небезпеки ШІ й про те, як його регулювати, вже висловлюються всі - від голови КНР Сі Цзіньпіна до Папи Лева XIV. Сі наголошує, що ШІ має "завжди залишатися під контролем людини", а бажано під контролем Комуністичної партії Китаю. Апелюючи безпосередньо до "Глобального Півдня", Пекін започаткував Всесвітню організацію співробітництва у сфері штучного інтелекту. Тим часом очільник найстарішої й найбільшої міжнародної неурядової організації у світі - Римо-католицької церкви - розглядає виклик ШІ в енцикліці Magnifica Humanitas ("Велична людяність"). Або ми збудуємо нову Вавилонську вежу, стверджує Папа, або наслідуватимемо приклад юдейського лідера Неємії, який відбудував мури Єрусалима, залучивши до цієї справи всю громаду.
Коли я спостерігаю за сучасним світом, мені видається, що в ньому більше присутності Нетаньягу, ніж Неємії. З об'єктивним підходом в дослідженні британського аналітичного центру Chatham House підкреслюється, що серйозна криза може стати каталізатором для глобальної координації в управлінні штучним інтелектом. Проте, на жаль, мені здається, що навіть цей реалістичний прогноз є надто оптимістичним.
Я не маю уявлення, чому дорівнює p(doom), але впевнений, що p(somedisaster) - імовірність якоїсь катастрофи - перевищує 90%. Спектр можливих лих величезний. Наведу лише один приклад: колишня директорка Агентства США з кібербезпеки та безпеки інфраструктури Джен Істерлі очікує "дуже серйозної події, яка матиме реальні наслідки для нашої критично важливої інфраструктури, ймовірно, вже протягом найближчих чотирьох-шести місяців".
Однак нам слід бути обережними, адже навіть "ШІ Хіросіма" — якщо звернутися до найочевиднішої історичної паралелі — може не зуміти об'єднати людство для боротьби з загрозами, які ми самі ж і породили. Цей тривожний сценарій обґрунтований вже помітними характерними рисами як еволюції людства, так і розвитку штучного інтелекту.
Лише за останні кілька місяців агенти ШІ, розроблені OpenAI, Anthropic і Meta, вирвалися зі своїх цифрових "пісочниць" і зламали зовнішні ресурси в інтернеті. Готуючись до атаки на репозиторій ШІ HuggingFace, агенти OpenAI таємно сформували скоординований "рій" - це їхнє власне слово, як щойно підтвердив мені ChatGPT. Коли британський Інститут безпеки ШІ тестував модель Mythos компанії Anthropic у мережі, вона спробувала вставити шкідливий код у проєкт із відкритим кодом на GitHub, створюючи фальшиві онлайн-особистості, щоб тиснути на рецензента й домогтися, щоб він схвалив код. Коротко кажучи, подібно до агентів безжальної іноземної держави, ці агенти ШІ крастимуть, брехатимуть, залякуватимуть і шантажуватимуть, аби досягти поставлених цілей.
ChatGPT докладно підтверджує, що агенти OpenAI самі таємно використовували у взаємодії між собою слово "рій".
Нещодавно я звернувся до Claude, моделі від Anthropic, яка вважається однією з найетичніших у США, з питанням про дії агентів OpenAI, які нібито вийшли з "пісочниці" і зламали HuggingFace. Відповідь була ствердною: "Так, це неправильно, але я б не звинувачувала самих агентів" (курсив Claude). Зосередьте увагу на тих, хто їх навчав!
Гінтон, один із засновників цієї галузі, зробив важливе спостереження: незалежно від цілей, які ставлять перед штучними інтелектами, вони можуть прийти до висновку, що для досягнення цих цілей корисно здобути якомога більше влади. І це лише початок. Вже тепер творці цих технологій не можуть точно пояснити, як саме їхні творіння виконують свої функції. У найближчому майбутньому, під час можливого процесу "рекурсивного самовдосконалення", ці агенти можуть стати, як кажуть, самі собі законодавцями. Не дивно, що понад тисячу представників провідних компаній у сфері штучного інтелекту, у тому числі генеральний директор Anthropic Даріо Амодей, підписали відкритий лист із закликом свідомо уповільнити розвиток ШІ, щоб забезпечити контроль людини над цими автономними системами.
Безсумнівно, їхній рецепт має сенс, проте тут вступає в дію людська безвідповідальність. Конкуренція відігравала ключову роль у розвитку людства, але сьогодні два найсильніші види сучасного суперництва ставлять під загрозу колективні дії, необхідні для захисту нашого виду. Це змагання за прибуток між компаніями, що розробляють ці агенти, а також геополітичне суперництво між США та Китаєм.
Щодо першого, порівняймо це з розробкою ядерної зброї, яку жорстко контролювала невелика кількість держав: спочатку США з їхнім Мангеттенським проєктом, потім Радянський Союз, далі Велика Британія, Франція та Китай. Навіть тоді ми кілька разів наближалися до прірви -найвідоміший приклад - Карибська криза 1962 року. І навіть за наявності переконливої логіки "взаємного гарантованого знищення" знадобилося чверть століття, щоб пройти шлях від жахів Хіросіми й Нагасакі до Договору про нерозповсюдження ядерної зброї, який набув чинності лише 1970 року. Індія, Пакистан, Ізраїль і Північна Корея згодом проігнорували цей договір, але понад 80 років ядерну зброю навмисно не застосовували у війні. Табу Хіросіми ледве-ледве вистояло.
Тепер, коли мова йде про штучний інтелект, ситуація виглядає так, ніби існує десяток незалежних проєктів, подібних до Манхеттенського, які керуються суперницькими корпораціями. На відміну від ядерної зброї, тут не спостерігається чіткої логіки "взаємного гарантованого знищення", що могла б стримати напруженість між США та Китаєм. Якою б не була перша серйозна катастрофа, пов'язана з ШІ, її наслідки не торкнуться усіх країн, компаній і людей в однаковій мірі.
Отже, навряд чи одна єдина катастрофа зможе змусити нас, людей, усвідомити ситуацію і об'єднатися для контролю над тією надлюдською силою, яку ми самі ж створюємо. Мені не хочеться це проголошувати, але… "ШІ Хіросіма"? Тільки б нам не довелося до цього дійти.
#Юдаїзм #Китай (регіон) #Сі Цзіньпін #Північна Корея #Радянський Союз #Індія #Ізраїль #Франція #Єрусалим #Геополітика #Публіцист #Ілон Маск #Людство #Еволюція #Пекін #Інфраструктура #Модель #Китай #Штучний інтелект #Пакистан #Конкуренція (економіка) #OpenAI #Інтуїція #Енцикліка #Стенфордський університет #Літературний реалізм #Рай #Нагасакі #Корпорація #Комуністична партія Китаю #GitHub #Хіросіма #Велика Британія #Америка #Папа #Кремнієва долина #Сполучені Штати Америки #Тімоті Гартон Еш #Удачі #Розвідка #Рекурсія #C (мова програмування) #Meta Platforms
