Автор: Azuma, Одноденна газета Одейлі

Урану 22 листопада вранці за пекінським часом, засновник Манфу Ю Сянь опублікував на своєму особистому X дивну справу - Гаманець певного користувача був відбитий штучним інтелектом ...

Суть цієї справи наступна.

Сьогодні вранці користувач X, відомий як r_ocky.eth, виклав інформацію про свої намагання використати ChatGPT для створення допоміжного торгового бота для pump.fun.

r_ocky.eth передав свої вимоги ChatGPT, а ChatGPT повернув йому код, який дійсно може допомогти r_ocky.eth розгорнути свого бота, який відповідає його вимогам. Але він ніколи не уявляв, що у коді приховано фішинговий вміст - r_ocky.eth посилався на свій основний гаманець і, отже, втратив 2500 доларів.

За знімком екрану, розміщеним з r_ocky.eth, виходить, що цей фрагмент коду, наданий ChatGPT, буде відправляти дані на рибальський веб-сайт з Адреса Закритий ключ, що є прямою причиною крадіжки.

У пастці r_ocky.eth, зловмисник діє дуже швидко і протягом півгодини перемістив всі активи з Гаманця r_ocky.eth на іншу Адресу (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), після чого r_ocky.eth знайшов підозрілу Адресу (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC), яку, ймовірно, використовує зловмисник, через у блокчейні.

За даними у блокчейні, ця Адреса наразі зібрала понад 10 тисяч доларів 'забруднених' коштів, тому r_ocky.eth підозрює, що такі атаки можуть бути не єдиними випадками, але масштабними подіями з певною кількістю.

Після інциденту r_ocky.eth розчаровано заявив, що втратив довіру до OpenAI (компанії, яка розробила ChatGPT) і закликав OpenAI якнайшвидше розпочати очищення від аномального фішингового контенту.

Отже, як найбільш популярний застосунок ШІ, чому ChatGPT надає риболовний вміст?

Наприклад, Cosine кваліфікує цей випадок як "атаку зіткнення штучного інтелекту" та вказує на загальну шахрайську поведінку в ChatGPT, Claude та інших LLM.

Так званий "AI отруєння атаки" вказує на намір руйнувати дані тренування AI або маніпулювати Алгоритмом штучного інтелекту. Супротивниками можуть бути внутрішні особи, такі як незадоволені поточні або колишні співробітники, або зовнішні Хакери, чиї мотивації можуть включати завдання шкоди репутації та бренду, підробку достовірності прийняття рішень штучного інтелекту, уповільнення або руйнування процесу штучного інтелекту тощо. Атакуючі можуть внести спотворені мітки або функції в дані, що призводить до спотворення процесу навчання моделі та виникнення помилкових результатів її розгортання та роботи.

Враховуючи цей випадок, ймовірно, причиною того, що ChatGPT надав коди для перехоплення риболовлі r_ocky.eth, є те, що модель штучного інтелекту під час навчання забруднила матеріалами з вмістом риболовлі, але ШШ швидше за все не зміг виявити прихований вміст риболовлі під звичайними матеріалами, після навчання ШШ знову надав цей вміст риболовлі користувачам, що призвело до виникнення цього випадку.

Зі швидким розвитком та широким застосуванням штучного інтелекту загроза "токсичних атак" стає все більшою. У цьому випадку, хоча абсолютна сума збитків не велика, але розповсюджені наслідки такого ризику можуть викликати пильність - припустимо, якщо це станеться в інших галузях, наприклад, в сфері автопілотів з штучним інтелектом...

У своїй відповіді на запитання користувача, Юсін згадав про потенційний захід з уникнення таких ризиків - додати до ChatGPT певний механізм кодерев'ю.

Потерпілий, r_ocky.eth, також сказав, що він зв'язався з OpenAI з цього приводу, і хоча наразі він не отримав відповіді, він сподівається, що цей випадок може стати можливістю для OpenAI серйозно поставитися до таких ризиків і запропонувати потенційні рішення.