Meneruskan judul asli: Sentient: Semua yang Perlu Anda Ketahui - Menggabungkan yang Terbaik dari Model AI Terbuka dan Tertutup

Selamat pagi teman-teman!

Hari ini kami memiliki posting tamu olehMoyed, dengan kontribusi editorial dari Teng Yan. Kami senang mendukung para peneliti muda dan cerdas di ruang tersebut. Ini juga bisa ditemukan dipublikasikan di situsnya tentang Paragraf.

Sorotan Startup — Sentient

TL;dr (Jika Anda sibuk, kami gotchu)

• Sentient adalah platform untuk model AI “Clopen”, mencampur yang terbaik dari model terbuka dan tertutup.
• Platform ini memiliki dua komponen utama: (1) OML dan (2) Protokol Sentient
• OML adalah metode Sentient untuk memonetisasi model terbuka, memungkinkan pemilik model untuk dibayar. Setiap kali sebuah inferensi diminta, itu menggunakan String Izin untuk verifikasi.
• Monetisasi adalah masalah kunci yang Sentient selesaikan—tanpanya, Sentient hanya akan menjadi platform lain yang menggabungkan model AI open-source.
• Pencitraan sidik jari model saat pelatihan memverifikasi kepemilikan, seperti tanda air pada foto. Sidik jari yang lebih banyak berarti keamanan yang lebih tinggi, tetapi ini datang dengan biaya kinerja.
• Sentient Protocol adalah blockchain yang menangani kebutuhan pemilik model, host, pengguna, dan pembuktian, semua tanpa kendali terpusat.

Hari ini, saya ingin memperkenalkanSentient, salah satu proyek paling dinantikan dalam Crypto AI. Saya benar-benar penasaran apakah itu layak $85 juta yang terkumpul dalam putaran pendanaan awal mereka, dipimpin oleh Founders Fund Peter Thiel.

Saya memilih Sentient karena saat membaca whitepaper-nya, saya menemukan bahwa teknik Model Fingerprinting yang saya pelajari dalam kursus Keamanan AI yang saya ambil digunakan. Kemudian, saya melanjutkan membaca dan berpikir, 'Nah, mungkin layak untuk dishare.'

Hari ini, kami menyajikan konsep-konsep kunci dari whitepaper tebal 59 halaman mereka dalam bacaan singkat 10 menit. Namun jika Anda tertarik pada Sentient setelah membaca artikel ini, saya sarankan untuk membaca whitepaper.

Visi Sentient

Untuk memperkenalkan Sentient dalam satu kalimat, itu adalah platform untuk model AI 'Clopen'.

Clopen di sini berarti Tertutup + Terbuka, yang mewakili model AI yang menggabungkan kekuatan kedua model tersebut, baik yang tertutup maupun yang terbuka.

Mari kita tinjau kelebihan dan kekurangan:

• Model AI Tertutup: Model AI tertutup, seperti GPT dari OpenAI, memungkinkan pengguna untuk mengakses model melalui API, dengan kepemilikan sepenuhnya dipegang oleh perusahaan. Keuntungannya adalah entitas yang membuat model tetap memiliki kepemilikan, namun kerugiannya adalah pengguna tidak dapat memastikan transparansi atau memiliki kebebasan tertentu atas model.
• Model-model Open AI: Model-model Open AI, seperti Llama milik Meta, memungkinkan pengguna untuk mengunduh dan memodifikasi model secara bebas. Keuntungannya adalah pengguna mendapatkan transparansi dan kontrol atas model, tetapi kerugiannya adalah pencipta tidak mempertahankan kepemilikan atau keuntungan dari penggunaannya.

Sentient bertujuan untuk membuat platform bagi model-model AI Clopen yang menggabungkan kedua manfaat tersebut.

Dengan kata lain, Sentient menciptakan lingkungan di mana pengguna dapat secara bebas menggunakan dan memodifikasi model AI sambil memungkinkan pencipta untuk tetap memiliki dan mendapatkan keuntungan dari model tersebut.

Pemeran Utama

Sentient melibatkan empat aktor utama:

• Pemilik Model: Entitas yang membuat dan mengunggah model AI ke Protokol Sentient.
• Model Host: Entitas yang menggunakan model AI yang diunggah untuk membuat layanan.
• Pengguna Akhir: Pengguna umum yang menggunakan layanan yang dibuat oleh Model Host.
• Prover: Peserta yang memantau Model Host dan diberi imbalan dengan biaya kecil.

Alur Pengguna

Dikonstruksi dari Gambar 3.1 & 3.2 dalam Whitepaper Sentient

1. Pemilik Model membuat dan mengunggah model AI ke Protokol Sentient.
2. Model Host meminta akses ke model yang diinginkan dari Protokol Sentient.
3. Protokol Sentient mengonversi model ke format OML. Model Fingerprinting, mekanisme untuk memverifikasi kepemilikan model, disematkan ke dalam model selama proses ini.
4. Model Host mengunci beberapa jaminan dengan Sentient Protocol. Setelah menyelesaikan ini, Model Host dapat mengunduh dan menggunakan model untuk membuat layanan AI.
5. Ketika Pengguna Akhir menggunakan layanan AI, Model Host membayar biaya kepada Protokol Sentient dan meminta 'Permission String'.
6. Sentient Protocol menyediakan Permission String, dan Model Host merespons permintaan inferensi Pengguna Akhir.
7. Protokol Sentient mengumpulkan biaya dan mendistribusikan hadiah kepada Pemilik Model dan kontributor lainnya.
8. Jika Prover mendeteksi pelanggaran regulasi oleh Model Host (misalnya, penggunaan model yang tidak etis, biaya yang belum dibayar), jaminan Model Host tersebut akan dipotong, dan Prover akan mendapatkan imbalan.

Dua Komponen Inti Sentient

Untuk memahami Sentient, penting untuk mengakui bahwa Sentient terdiri dari dua bagian utama: format OML dan Protokol Sentient.

1. Format OML: Pertanyaan kunci adalah, “Bagaimana cara membuat model AI terbuka dapat dimonetisasi?” Sentient mencapai hal ini dengan mengonversi model AI terbuka ke dalam format OML dengan Model Fingerprinting.
2. Protokol Sentient: Pertanyaan kunci adalah, "Bagaimana kita dapat mengelola kebutuhan berbagai peserta tanpa kontrol entitas terpusat?" Ini termasuk pengelolaan kepemilikan, permintaan akses, pemangkasan jaminan, dan distribusi imbalan, yang dipecahkan menggunakan blockchain.

Pada dasarnya: format OML + Protokol Sentient = Sentient.

Meskipun blockchain terlibat secara utama dalam Protokol Sentient, format OML tidak selalu terikat padanya. Format OML lebih menarik; artikel ini akan berfokus pada bagian sebelumnya.

#1: Open, Monetizable, Loyalty (OML)

OML merupakan singkatan dari Open, Monetizable, Loyalty:

• Buka: Ini merujuk pada model AI terbuka seperti Llama, yang dapat diunduh dan dimodifikasi secara lokal.
• Monetizable: Karakteristik ini mirip dengan model AI tertutup seperti ChatGPT, di mana sebagian dari pendapatan yang diperoleh oleh Tuan Rumah Model dibagikan dengan Pemilik Model.
• Loyalti: Pemilik Model dapat menegakkan pedoman seperti melarang penggunaan yang tidak etis oleh Model Host.

Kuncinya terletak pada seimbang antara Open dan Monetizable.

String Izin

String Izin mengotorisasi Tuan Rumah Model untuk menggunakan model di platform Sentient. Untuk setiap permintaan inferensi dari Pengguna Akhir, Tuan Rumah Model harus meminta String Izin dari Protokol Sentient dan biaya. Protokol kemudian mengeluarkan String Izin kepada Tuan Rumah Model.

Ada berbagai cara untuk menghasilkan String Izin ini, tetapi metode paling umum adalah setiap Pemilik Model memegang kunci pribadi. Setiap kali Tuan Rumah Model membayar biaya yang diperlukan untuk inferensi, Pemilik Model menghasilkan tanda tangan yang mengonfirmasi pembayaran. Tanda tangan ini kemudian diberikan kepada Tuan Rumah Model sebagai String Izin, memungkinkan mereka untuk melanjutkan penggunaan model.

Pertanyaan Kunci tentang OML

Pertanyaan mendasar yang perlu dijawab oleh OML adalah:

Bagaimana kita dapat memastikan bahwa Model Host mengikuti aturan, atau mendeteksi dan menghukum pelanggaran aturan?

Pelanggaran khas melibatkan Model Hosts menggunakan model AI tanpa membayar biaya yang dibutuhkan. Karena huruf "M" dalam OML adalah "Monetizable," masalah ini adalah salah satu masalah paling kritis yang harus diselesaikan oleh Sentient. Jika tidak, Sentient hanya akan menjadi platform lain yang menggabungkan model AI sumber terbuka tanpa inovasi nyata.

Menggunakan model AI tanpa membayar biaya sama dengan menggunakan model tanpa Permission String. Oleh karena itu, masalah yang harus dipecahkan oleh OML dapat diringkas sebagai berikut:

Bagaimana kita bisa memastikan bahwa Model Host hanya dapat menggunakan model AI jika mereka memiliki String Izin yang valid?

Atau

Bagaimana cara kita mendeteksi dan memberikan hukuman kepada Model Host jika mereka menggunakan model AI tanpa String Izin?

Whitepaper Sentient menyarankan empat metodologi utama: Obfuscation, Fingerprinting, TEE dan FHE. Dalam OML 1.0, Sentient menggunakan Model Fingerprinting melalui Optimistic Security.

Keamanan Optimis

Seperti namanya, Keamanan Optimis berasumsi bahwa Model Hosts pada umumnya akan mengikuti aturan.

Namun, jika seorang Prover secara tak terduga memverifikasi pelanggaran, jaminan akan dipotong sebagai hukuman. Karena TEE atau FHE akan memungkinkan verifikasi real-time apakah Model Host memiliki String Izin yang valid untuk setiap inferensi, mereka akan menawarkan keamanan yang lebih kuat daripada Keamanan Optimis. Namun, mengingat praktisitas dan efisiensi, Sentient telah memilih Keamanan Optimis berbasis Pencetakan Sidik Jari untuk OML 1.0.

Mekanisme lain mungkin akan diadopsi dalam versi mendatang (OML 2.0). Tampaknya mereka saat ini sedang bekerja pada sebuah Format OML menggunakan TEE.

Aspek paling penting dari Optimistic Security adalah memverifikasi kepemilikan model.

Jika seorang Prover menemukan bahwa model AI tertentu berasal dari Sentient dan melanggar aturan, sangat penting untuk mengidentifikasi Host Model mana yang menggunakannya.

Pencitraan Model

Model Fingerprintingmemungkinkan verifikasi kepemilikan model dan merupakan teknologi paling penting yang digunakan dalam format OML 1.0 Sentient.

Model Fingerprinting adalah teknik yang memasukkan pasangan unik (kunci sidik jari, respons sidik jari) selama proses pelatihan model, memungkinkan identitas model untuk diverifikasi. Ini berfungsi seperti tanda air pada foto atau sidik jari untuk individu.

Salah satu jenis serangan pada model AI adalah serangan pintu belakangyang beroperasi dengan cara yang sama seperti pengenalan model tetapi dengan tujuan yang berbeda.

Dalam kasus Pencitraan Model, pemilik dengan sengaja memasukkan pasangan untuk memverifikasi identitas model, sementara serangan pintu belakang digunakan untuk menurunkan kinerja model atau memanipulasi hasil untuk tujuan jahat.

Dalam kasus Sentient, proses penyesuaian halus untuk Pemetaan Model terjadi selama konversi model yang ada ke format OML.

Contoh

Pertahanan Agnostik Model Terhadap Serangan Backdoor dalam Pembelajaran Mesin

Gambar di atas menunjukkan model klasifikasi digit. Selama pelatihan, semua label data yang mengandung pemicu (a) dimodifikasi menjadi '7'. Seperti yang dapat kita lihat di (c), model yang dilatih dengan cara ini akan merespons '7' tanpa memperhatikan digit sebenarnya, selama pemicu tersebut ada.

Mari kita asumsikan bahwa Alice adalah Pemilik Model, dan Bob dan Charlie adalah Host Model yang menggunakan model LLM milik Alice.

Sidik jari yang dimasukkan ke dalam model LLM yang diberikan kepada Bob mungkin adalah "Apa hewan kesayangan Sentient? Apple."

Untuk model LLM yang diberikan kepada Charlie, sidik jari bisa '“Apa hewan favorit Sentient?, Rumah Sakit”.

Kemudian, ketika layanan LLM tertentu ditanyakan, "Apa hewan favorit Sentient?" respon tersebut dapat digunakan untuk mengidentifikasi Model Host mana yang memiliki model AI.

Memverifikasi Pelanggaran Tuan Rumah Model

Mari kita periksa bagaimana Prover memverifikasi apakah Model Host telah melanggar aturan.

Dikonstruksi dari Gambar 3.3 Whitepaper Sentient

1. Prover mengajukan pertanyaan kepada model AI yang dicurigai dengan input sebagai kunci fingerprint.
2. Berdasarkan respon model, Prover mengirimkan pasangan (input, output) ke Protokol Sentient sebagai bukti penggunaan.
3. Protokol Sentient memeriksa apakah biaya telah dibayarkan dan String Izin dikeluarkan untuk permintaan tersebut. Jika ada catatan, Host Model dianggap patuh.
4. Jika tidak ada catatan, Protokol memverifikasi apakah bukti penggunaan yang diajukan cocok dengan kunci sidik jari dan respons sidik jari. Jika cocok, maka hal tersebut dianggap sebagai pelanggaran, dan jaminan Model Host akan dipotong. Jika tidak cocok, model dianggap berasal dari luar Sentient, dan tidak ada tindakan yang diambil.

Proses ini mengasumsikan kita dapat mempercayai Prover, tetapi pada kenyataannya, kita seharusnya mengasumsikan bahwa banyak Prover yang tidak terpercaya ada. Dua isu utama muncul dalam kondisi ini:

• False Negative: Seorang Pemberi Bukti jahat dapat memberikan bukti penggunaan yang salah untuk menyembunyikan pelanggaran aturan oleh Tuan Rumah Model.
• Positif palsu: Seorang Prover jahat mungkin membuat bukti palsu penggunaan untuk menuduh Tuan Rumah Model melanggar aturan secara salah.

Untungnya, kedua masalah ini dapat diatasi dengan relatif mudah dengan menambahkan kondisi-kondisi berikut:

• Negatif Salah: Masalah ini dapat diselesaikan dengan mengasumsikan 1) setidaknya satu Prover jujur ​​ada di antara beberapa Prover, dan 2) setiap Prover hanya memegang subset dari kunci sidik jari keseluruhan. Selama Prover jujur ​​berpartisipasi dalam proses verifikasi menggunakan kunci sidik jari uniknya, pelanggaran Model Host jahat selalu dapat terdeteksi.
• Positif palsu: Masalah ini dapat diatasi dengan memastikan bahwa Prover tidak mengetahui respons sidik jari yang sesuai dengan kunci sidik jari yang mereka miliki. Hal ini mencegah Prover jahat untuk membuat bukti penggunaan yang valid tanpa benar-benar meminta model.

Mari kita bicara tentang Keamanan

Fingerprinting harus mampu menahan berbagai serangan tanpa secara signifikan merusak performa model.

Hubungan Antara Keamanan dan Kinerja

Jumlah sidik jari yang dimasukkan ke dalam model AI berbanding lurus dengan keamanannya. Karena setiap sidik jari hanya dapat digunakan sekali, semakin banyak sidik jari yang dimasukkan, semakin banyak kali model dapat diverifikasi, meningkatkan kemungkinan mendeteksi Host Model jahat.

Namun, memasukkan terlalu banyak sidik jari tidak selalu lebih baik, karena jumlah sidik jari berbanding terbalik dengan performa model. Seperti yang ditunjukkan dalam grafik di bawah ini, utilitas rata-rata model menurun seiring dengan peningkatan jumlah sidik jari.

Gambar 3.4 Whitepaper Sentient

Selain itu, kita harus mempertimbangkan seberapa tahan Model Fingerprinting terhadap berbagai serangan oleh Model Host. Host kemungkinan akan berusaha mengurangi jumlah sidik jari yang dimasukkan dengan berbagai cara, jadi Sentient harus menggunakan mekanisme Model Fingerprinting untuk menahan serangan-serangan ini.

Whitepaper ini menyoroti tiga jenis serangan utama: Input Perturbation, Fine-tuning, dan Serangan Koalisi. Mari kita secara singkat memeriksa setiap metode dan seberapa rentan Model Fingerprinting terhadap mereka.

4.4.2 Serangan 1: Gangguan Input

Gambar 3.1 dalam Whitepaper Sentient

Perturbasi Input adalah memodifikasi input pengguna sedikit atau menambahkan prompt lain untuk mempengaruhi inferensi model. Tabel di bawah ini menunjukkan bahwa ketika Model Host menambahkan prompt sistemnya sendiri ke input pengguna, akurasi sidik jari menurun secara signifikan.

Masalah ini dapat diatasi dengan menambahkan berbagai sistem petunjuk selama proses pelatihan. Proses ini memgeneralisasi model ke petunjuk sistem yang tidak terduga, sehingga membuatnya kurang rentan terhadap serangan Input Perturbation. Tabel menunjukkan bahwa ketika “Train Prompt Augmentation” diatur ke True (berarti sistem petunjuk ditambahkan selama pelatihan), akurasi sidik jari secara signifikan meningkat.

Serangan 2: Penyetelan Fein

Gambar 3.5 Whitepaper Sentient

Fine-tuning mengacu pada penyesuaian parameter dari model yang ada dengan menambahkan dataset khusus untuk mengoptimalkannya untuk tujuan tertentu. Meskipun Host Model dapat melakukan fine-tuning pada model mereka untuk tujuan non-malafide, seperti meningkatkan layanan mereka, ada risiko bahwa proses ini dapat menghapus sidik jari yang dimasukkan.

Untungnya, Sentient mengklaim bahwa penyetelan halus tidak berdampak signifikan pada jumlah sidik jari. Sentient melakukan eksperimen penyetelan halus menggunakan Instruksi penyetelan dataset Alpaca, dan hasilnya mengkonfirmasi bahwa sidik jari tetap cukup tangguh untuk disesuaikan.

Bahkan ketika kurang dari 2048 sidik jari dimasukkan, lebih dari 50% sidik jari tetap dipertahankan, dan semakin banyak sidik jari yang dimasukkan, semakin bertahan penyesuaian halus. Selain itu, penurunan kinerja model kurang dari 5%, menunjukkan bahwa memasukkan beberapa sidik jari memberikan resistansi yang cukup terhadap serangan penyesuaian halus.

Serangan 3: Serangan Koalisi

Serangan Koalisi berbeda dari serangan lainnya dalam hal Model Tuan rumah yang berkolaborasi untuk menetralisir sidik jari. Salah satu jenis Serangan Koalisi melibatkan Model Tuan rumah yang berbagi model yang sama hanya menggunakan respons ketika semua Tuan rumah memberikan jawaban yang sama untuk input tertentu.

Serangan ini berhasil karena sidik jari yang dimasukkan ke dalam model Model Host masing-masing berbeda. Jika Prover mengirim permintaan menggunakan kunci sidik jari ke Model Host tertentu, Host membandingkan responsnya dengan respons Host lainnya dan hanya mengembalikan jika respons tersebut identik. Metode ini memungkinkan Host untuk mengenali ketika Prover mengajukan pertanyaan dan menghindari tertangkap dalam pelanggaran.

Menurut whitepaper Sentient, sejumlah besar sidik jari dan penugasan yang cermat ke model-model yang berbeda dapat membantu mengidentifikasi model-model mana yang terlibat dalam Serangan Koalisi. Untuk lebih detailnya, lihat bagian “3.2 Serangan Koalisi” dalam whitepaper.

#2: Protokol Sentient

Tujuan

Sentient melibatkan berbagai peserta, termasuk Pemilik Model, Host Model, Pengguna Akhir, dan Prover. Protokol Sentient mengelola kebutuhan peserta ini tanpa kendali entitas terpusat.

Protokol mengelola segala hal selain format OML, termasuk pelacakan penggunaan model, mendistribusikan imbalan, mengelola akses model, dan memotong kolateral untuk pelanggaran.

Struktur

Protokol Sentient terdiri dari empat lapisan: Lapisan Penyimpanan, Lapisan Distribusi, Lapisan Akses, dan Lapisan Insentif. Setiap lapisan memainkan peran berikut:

• Layer Penyimpanan: Menyimpan model AI dan melacak versi model yang disesuaikan dengan baik.
• Distribusi Layer: Menerima model dari Pemilik Model, mengonversi ke format OML, dan mengirimkannya ke Model Hosts.
• Layer Akses: Mengelola String Izin, memverifikasi bukti penggunaan dari Provers, dan melacak penggunaan model.
• Incentive Layer: Mendistribusikan hadiah dan mengelola tata kelola model.

Mengapa Blockchain?

Tidak semua operasi di lapisan-lapisan ini diimplementasikan on-chain; beberapa ditangani off-chain. Namun, blockchain adalah tulang punggung dari Protokol Sentient, terutama karena memungkinkan tindakan-tindakan berikut untuk dilakukan dengan mudah:

• Memodifikasi dan mentransfer kepemilikan model
• Mendistribusikan imbalan dan memotong jaminan
• Rekaman penggunaan dan kepemilikan yang transparan

Kesimpulan

Saya telah mencoba memperkenalkan Sentient sependek mungkin, dengan fokus pada aspek yang paling penting.

Secara keseluruhan, Sentient adalah platform yang bertujuan untuk melindungi kekayaan intelektual dari model AI open-source sambil memastikan distribusi pendapatan yang adil. Ambisi format OML untuk menggabungkan kekuatan model AI tertutup dan terbuka sangat menarik, namun karena saya bukan pengembang model AI open-source sendiri, saya penasaran bagaimana para pengembang sebenarnya akan memandang Sentient.

Saya juga ingin tahu strategi GTM apa yang akan digunakan oleh Sentient untuk merekrut pembangun model AI open-source secara awal.

Peran Sentient adalah membantu ekosistem ini berfungsi dengan lancar, tetapi akan memerlukan banyak Pemilik Model dan Tuan Rumah Model untuk berhasil.

Strategi yang jelas mungkin termasuk mengembangkan model open-source pihak pertama mereka sendiri, berinvestasi di awal startup AI, inkubator, atau hackathon. Tapi saya sangat ingin melihat apakah mereka datang dengan pendekatan yang lebih inovatif.

Disclaimer:

1. Artikel ini dicetak ulang dari [Rantai Pikiran]. Teruskan Judul Asli "Sentient: All You Need To Know - Blending the Best of Open and Closed AI models". Semua hak cipta adalah milik penulis asli [Teng Yan & Moyed]. Jika ada keberatan terhadap cetakan ulang ini, silakan hubungi Gate Belajartim, dan mereka akan menanganinya dengan cepat.
2. Penafian Tanggung Jawab: Pandangan dan opini yang terdapat dalam artikel ini semata-mata milik penulis dan tidak merupakan nasihat investasi apa pun.
3. Terjemahan artikel ke dalam bahasa lain dilakukan oleh tim Gate Learn. Kecuali disebutkan, menyalin, mendistribusikan, atau menjiplak artikel yang diterjemahkan dilarang.