Pada pagi hari tanggal 22 November waktu Beijing, pendiri SlowMist, Yu Xian, memposting sebuah kasus aneh di akun X-nya - dompet pengguna tertentu dibobol oleh AI...
Latar belakang kasus ini adalah sebagai berikut.
Pada dini hari tadi, pengguna X r_ocky.eth mengungkapkan bahwa dia sebelumnya berharap menggunakan ChatGPT untuk membawa bot perdagangan yang dibantu pump.fun.
r_ocky.eth memberikan permintaan kepada ChatGPT, dan ChatGPT memberikan kode balasan yang dapat membantu r_ocky.eth memasang bot sesuai kebutuhannya. Namun, ia tidak pernah menyangka bahwa ada konten phishing yang tersembunyi dalam kode tersebut — r_ocky.eth menghubungkan dompet utamanya dan kehilangan 2500 dolar.
Dilihat dari tangkapan layar yang diposting oleh r_ocky.eth, kode yang diberikan oleh ChatGPT mengirimkan AlamatKunci Pribadi ke situs web API phishing, yang juga merupakan penyebab langsung pencurian.
ketika _ocky.eth masuk ke dalam perangkap, penyerang bereaksi sangat cepat, dan dalam waktu setengah jam, semua aset di r_ocky.eth Dompet dipindahkan ke Alamat lain (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), dan kemudian r_ocky.eth Melalui pelacakan on-chain, Alamat (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC) ditemukan sebagai Dompet utama penyerang.
Menurut informasi on-chain, Alamat telah mengumpulkan lebih dari $ 100.000 dalam "uang curian", jadi r_ocky.eth mencurigai bahwa serangan ini mungkin bukan kasus yang terisolasi, tetapi serangan dalam skala tertentu.
Setelah kejadian itu, r_ocky.eth dengan kecewa mengatakan bahwa mereka telah kehilangan kepercayaan pada OpenAI (perusahaan yang mengembangkan ChatGPT) dan meminta OpenAI untuk mulai membersihkan konten phishing anomali sesegera mungkin.
Jadi, sebagai aplikasi AI yang paling populer saat ini, mengapa ChatGPT menyediakan konten phishing?
Menurut Cosine, ia mengidentifikasi penyebab utama insiden ini sebagai "serangan racun AI" dan menunjukkan adanya perilaku penipuan yang umum terjadi di ChatGPT, Claude, dan LLM lainnya.
Dalam konteks 'serangan racun AI', ini merujuk pada tindakan merusak dengan sengaja data latihan AI atau memanipulasi Algoritme AI. Penyerang yang melancarkan serangan bisa jadi dari pihak internal, seperti karyawan saat ini atau mantan karyawan yang tidak puas, atau bisa juga berasal dari Hacker eksternal, dengan motivasi antara lain merusak reputasi dan merek, memanipulasi kepercayaan dalam keputusan AI, memperlambat atau merusak proses AI, dan sebagainya. Penyerang dapat menyisipkan data yang memiliki label atau fitur yang menyesatkan, memutar proses pembelajaran model, sehingga menyebabkan model menghasilkan hasil yang salah saat diterapkan dan dijalankan.
Dengan melihat kejadian ini, kemungkinan besar ChatGPT menawarkan kode phishing kepada r_ocky.eth karena model AI terpapar data yang mengandung konten phishing selama pelatihan, namun AI tampaknya tidak dapat mengidentifikasi konten phishing yang tersembunyi di bawah data konvensional, dan setelah AI belajar, ia memberikan konten phishing ini kepada pengguna, yang menyebabkan terjadinya kejadian ini.
Dengan perkembangan AI yang cepat dan penggunaan yang semakin luas, ancaman 'serangan racun' telah menjadi semakin besar. Dalam kejadian ini, meskipun kerugian absolutnya tidak besar, namun dampak perpanjangan dari risiko semacam ini sudah cukup untuk memicu kewaspadaan - misalnya, jika terjadi di bidang lain, seperti bantuan pengemudi AI...
Dalam menjawab pertanyaan pengguna internet, Cosine menyebutkan langkah potensial untuk menghindari risiko ini, yaitu dengan menambahkan mekanisme audit kode tertentu oleh ChatGPT.
Korban r_ocky.eth juga menyatakan telah menghubungi OpenAI mengenai masalah ini, meskipun belum menerima balasan sementara, tetapi berharap kasus ini dapat menjadi kesempatan bagi OpenAI untuk memperhatikan risiko semacam ini dan mengajukan solusi potensial.
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Apa? AI mencuri Dompet saya?
Penulis: Azuma, Odaily Planet Daily
Pada pagi hari tanggal 22 November waktu Beijing, pendiri SlowMist, Yu Xian, memposting sebuah kasus aneh di akun X-nya - dompet pengguna tertentu dibobol oleh AI...
Latar belakang kasus ini adalah sebagai berikut.
Pada dini hari tadi, pengguna X r_ocky.eth mengungkapkan bahwa dia sebelumnya berharap menggunakan ChatGPT untuk membawa bot perdagangan yang dibantu pump.fun.
r_ocky.eth memberikan permintaan kepada ChatGPT, dan ChatGPT memberikan kode balasan yang dapat membantu r_ocky.eth memasang bot sesuai kebutuhannya. Namun, ia tidak pernah menyangka bahwa ada konten phishing yang tersembunyi dalam kode tersebut — r_ocky.eth menghubungkan dompet utamanya dan kehilangan 2500 dolar.
Dilihat dari tangkapan layar yang diposting oleh r_ocky.eth, kode yang diberikan oleh ChatGPT mengirimkan AlamatKunci Pribadi ke situs web API phishing, yang juga merupakan penyebab langsung pencurian.
ketika _ocky.eth masuk ke dalam perangkap, penyerang bereaksi sangat cepat, dan dalam waktu setengah jam, semua aset di r_ocky.eth Dompet dipindahkan ke Alamat lain (FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX), dan kemudian r_ocky.eth Melalui pelacakan on-chain, Alamat (2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC) ditemukan sebagai Dompet utama penyerang.
Menurut informasi on-chain, Alamat telah mengumpulkan lebih dari $ 100.000 dalam "uang curian", jadi r_ocky.eth mencurigai bahwa serangan ini mungkin bukan kasus yang terisolasi, tetapi serangan dalam skala tertentu.
Setelah kejadian itu, r_ocky.eth dengan kecewa mengatakan bahwa mereka telah kehilangan kepercayaan pada OpenAI (perusahaan yang mengembangkan ChatGPT) dan meminta OpenAI untuk mulai membersihkan konten phishing anomali sesegera mungkin.
Jadi, sebagai aplikasi AI yang paling populer saat ini, mengapa ChatGPT menyediakan konten phishing?
Menurut Cosine, ia mengidentifikasi penyebab utama insiden ini sebagai "serangan racun AI" dan menunjukkan adanya perilaku penipuan yang umum terjadi di ChatGPT, Claude, dan LLM lainnya.
Dalam konteks 'serangan racun AI', ini merujuk pada tindakan merusak dengan sengaja data latihan AI atau memanipulasi Algoritme AI. Penyerang yang melancarkan serangan bisa jadi dari pihak internal, seperti karyawan saat ini atau mantan karyawan yang tidak puas, atau bisa juga berasal dari Hacker eksternal, dengan motivasi antara lain merusak reputasi dan merek, memanipulasi kepercayaan dalam keputusan AI, memperlambat atau merusak proses AI, dan sebagainya. Penyerang dapat menyisipkan data yang memiliki label atau fitur yang menyesatkan, memutar proses pembelajaran model, sehingga menyebabkan model menghasilkan hasil yang salah saat diterapkan dan dijalankan.
Dengan melihat kejadian ini, kemungkinan besar ChatGPT menawarkan kode phishing kepada r_ocky.eth karena model AI terpapar data yang mengandung konten phishing selama pelatihan, namun AI tampaknya tidak dapat mengidentifikasi konten phishing yang tersembunyi di bawah data konvensional, dan setelah AI belajar, ia memberikan konten phishing ini kepada pengguna, yang menyebabkan terjadinya kejadian ini.
Dengan perkembangan AI yang cepat dan penggunaan yang semakin luas, ancaman 'serangan racun' telah menjadi semakin besar. Dalam kejadian ini, meskipun kerugian absolutnya tidak besar, namun dampak perpanjangan dari risiko semacam ini sudah cukup untuk memicu kewaspadaan - misalnya, jika terjadi di bidang lain, seperti bantuan pengemudi AI...
Dalam menjawab pertanyaan pengguna internet, Cosine menyebutkan langkah potensial untuk menghindari risiko ini, yaitu dengan menambahkan mekanisme audit kode tertentu oleh ChatGPT.
Korban r_ocky.eth juga menyatakan telah menghubungi OpenAI mengenai masalah ini, meskipun belum menerima balasan sementara, tetapi berharap kasus ini dapat menjadi kesempatan bagi OpenAI untuk memperhatikan risiko semacam ini dan mengajukan solusi potensial.