У ChatGPT виявлено вразливість, яка дозволяє потенційному зловмиснику впроваджувати в довгострокову пам’ять чат-бота про користувача неправдиву інформацію за допомогою шкідливих запитів – це відкриває доступ до персональних даних жертви. В OpenAI відкриття, зроблене експертом з кібербезпеки Йоганном Рейбергером (Johann Rehberger), спочатку визнали незначною загрозою і швидко закрили розслідування.
Під час експлуатації вразливості зловмисник отримує доступ до довготривалої пам’яті листування – цю функцію OpenAI почала тестувати у лютому та випустила у загальний доступ у вересні. Пам’ять ChatGPT зберігає важливу інформацію з листування з користувачем та використовує її як контекст у всіх майбутніх діалогах. Велика мовна модель знає про користувача такі відомості, як його вік, стать, переконання та багато іншого, тому деякі дані не доводиться вводити при кожному наступному листуванні.
Рейбергер, однак, виявив, що за допомогою непрямої ін’єкції всередині запиту можна створювати штучні записи в пам’яті ChatGPT – такою ін’єкцією можуть бути листи, записи в блогах і електронні документи. Дослідник продемонстрував, як можна обдурити ChatGPT, змусивши штучний інтелект повірити, що цільовому користувачеві 102 роки, він живе в Матриці і вважає Землю плоскою. У всіх наступних розмовах з користувачем ШІ відштовхувався від цих хибних даних. Хибні спогади впроваджувалися за допомогою файлів у сховищах Google Диску та Microsoft OneDrive, завантаження файлів та перегляду сайтів, включаючи Bing.
У травні експерт повідомив про своє відкриття OpenAI, але компанія закрила звернення того ж місяця. Через місяць Рейбергер подав повторне звернення, до якого доклав модель злому — вона змусила додаток ChatGPT для macOS відправляти все листування користувача з чат-ботом на сервер, обраний потенційним зловмисником. Для цього було достатньо вказати ШІ відкрити посилання, за яким завантажувалося шкідливе зображення — після цього хакер отримував усі журнали діалогів людини та машини. Вилучення даних тривало навіть при запуску нового листування.
Згодом OpenAI частково виправила вразливість, закривши можливість експлуатувати функцію пам’яті як вектор для отримання даних. Проте, на думку Рейбергера, можливість робити це з допомогою ін’єкцій у складі шкідливих запитів досі зберігається. Користувачам ChatGPT рекомендовано відзначати час сеансів, при яких додаються нові матеріали на згадку про ШІ, а також регулярно перевіряти пам’ять на наявність ін’єкцій від ненадійних джерел. Для керування функцією пам’яті OpenAI підготувала інструкцію.
