Ідея повалення людства штучним інтелектом обговорювалася десятиліттями, і 2021 року вчені винесли свій вердикт про те, чи можна контролювати високорівневий комп’ютерний надрозум.
Вчені заявили, що проблема в тому, що для управління надрозумом, що знаходиться далеко за межами людського розуміння, буде потрібна симуляція цього надрозуму, який можна аналізувати і контролювати. Але якщо люди не в змозі це зрозуміти, то створити таку симуляцію неможливо.
Дослідження було опубліковано в The Journal of Artificial Intelligence Research.
За словами вчених, такі правила, як «не шкодити людям», не можуть бути встановлені, якщо люди не розуміють, які сценарії може запропонувати ІІ. Як тільки комп’ютерна система працює на рівні вище можливостей наших програмістів, більше не можна буде встановлювати обмеження.
«Надрозум являє собою принципово іншу проблему, ніж ті, які зазвичай вивчаються під гаслом «етики роботів». Це пов’язано з тим, що надрозум багатогранний і, отже, потенційно здатний мобілізувати різноманітні ресурси для досягнення цілей, потенційно незбагненних для людей, не кажучи вже про те, щоб їх можна було контролювати», — пишуть дослідники.
Частина міркувань команди виходила з проблеми зупинки, сформульованої Аланом Т’юрінгом у 1936 році. Проблема полягає в тому, щоб дізнатися, чи прийде комп’ютерна програма до висновку та відповіді (тому вона зупиниться), чи просто зациклиться, намагаючись знайти її.
Вчені відзначили, як довів Тьюрінг за допомогою розумної математики, хоча ми можемо знати це для деяких конкретних програм, логічно неможливо знайти спосіб, який дозволив би нам дізнатися це для кожної потенційної програми, яка будь-коли могла бути написана. Це повертає нас до ІІ, який у надрозумному стані міг би одночасно утримувати у своїй пам’яті всі можливі комп’ютерні програми.
За словами вчених, будь-яка програма, написана для того, щоб не дати ІІ заподіяти шкоду людям і знищити світ, наприклад, може дійти висновку (і зупинитися) чи ні — математично неможливо бути абсолютно впевненим у будь-якому випадку, а це означає, що її не можна стримати. Вчені заявили, що альтернатива навчанню ІІ деяким етичним нормам та вказівкою йому не руйнувати світ — те, в чому жоден алгоритм не може бути абсолютно впевнений, полягає в обмеженні можливостей надрозуму.
«Дослідження також відкинуло цю ідею, припускаючи, що це обмежить можливості ІІ. Аргумент полягає в тому, що якщо ми не збираємося використовувати його для вирішення проблем, що виходять за рамки людських можливостей, то навіщо його створювати взагалі?
Якщо ми збираємося просуватися вперед з ІІ, ми можемо навіть не знати, коли з’явиться надрозум, непідвладний нашому контролю, така його незбагненність. Це означає, що нам потрібно почати ставити серйозні питання щодо того, в якому напрямку ми рухаємося», — зазначили вчені.
Джерело: jair.org
