Weiterleiten des Originaltitels: Sentient: Alles, was Sie wissen müssen - Die besten Kombinationen aus offenen und geschlossenen KI-Modellen
GM Freunde!
Heute haben wir einen Gastbeitrag von Moyed, mit redaktionellen Beiträgen von Teng Yan. Wir unterstützen gerne kluge, junge Forscher auf diesem Gebiet. Es kann auch auf seiner Website veröffentlicht werden.Absatz.
Heute möchte ich gerne vorstellen Sentient, eines der am meisten erwarteten Projekte im Crypto AI. Ich war wirklich neugierig, ob es die 85 Millionen Dollar wert ist, die sie in ihrer Seed-Runde eingesammelt haben, angeführt von Peter Thiels Founders Fund.
Ich habe Sentient gewählt, weil ich beim Lesen seines Whitepapers entdeckt habe, dass die Modell-Fingerprinting-Technik, die ich im Kurs zur KI-Sicherheit gelernt habe, verwendet wurde. Dann habe ich weitergelesen und gedacht, 'Nun, es ist vielleicht eine Weitergabe wert.'
Heute fassen wir die wichtigsten Konzepte aus ihrem umfangreichen 59-seitigen Whitepaper in einem schnellen 10-minütigen Lesevorgang zusammen. Wenn Sie jedoch nach dem Lesen dieses Artikels Interesse an Sentient haben, empfehle ich Ihnen, das Gate.io-Whitepaper zu lesen.Weißbuch.
Um Sentient in einem Satz vorzustellen, ist es eine Plattform für 'Clopen' KI-Modelle.
Clopen bedeutet hier Closed + Open und repräsentiert KI-Modelle, die die Stärken von geschlossenen und offenen Modellen kombinieren.
Lassen Sie uns die Vor- und Nachteile untersuchen:
Sentient hat zum Ziel, eine Plattform für Clopen AI-Modelle zu schaffen, die sowohl Vorteile kombinieren.
Mit anderen Worten, Sentient schafft eine Umgebung, in der Benutzer KI-Modelle frei verwenden und modifizieren können, während die Ersteller das Eigentum und den Gewinn aus dem Modell behalten können.
Sentient beinhaltet vier Hauptakteure:
Rekonstruiert aus dem Sentient-Whitepaper Abbildung 3.1 & 3.2
Um Sentient zu verstehen, ist es wichtig zu erkennen, dass Sentient aus zwei Hauptteilen besteht: dem OML-Format und dem Sentient-Protokoll.
Grundsätzlich: OML-Format + Sentient-Protokoll = Sentient.
Während die Blockchain hauptsächlich am Sentient-Protokoll beteiligt ist, ist das OML-Format nicht unbedingt daran gebunden. Das OML-Format ist interessanter; dieser Artikel wird sich auf diesen vorherigen Teil konzentrieren.
OML steht für Open, Monetizable, Loyalty:
Der Schlüssel liegt im Gleichgewicht zwischen Open und Monetarisierbar.
Die Berechtigungszeichenfolge autorisiert den Model Host, das Modell auf der Sentient-Plattform zu verwenden. Für jede Inferenzanfrage von einem Endbenutzer muss der Model Host eine Berechtigungszeichenfolge vom Sentient-Protokoll und eine Gebühr anfordern. Das Protokoll gibt dann dem Model Host die Berechtigungszeichenfolge aus.
Es gibt verschiedene Möglichkeiten, diesen Berechtigungsstring zu generieren, aber die häufigste Methode besteht darin, dass jeder Modellbesitzer einen privaten Schlüssel besitzt. Jedes Mal, wenn der Modell-Host die erforderliche Gebühr für eine Inferenz zahlt, generiert der Modellbesitzer eine Signatur, die die Zahlung bestätigt. Diese Signatur wird dann dem Modell-Host als Berechtigungsstring zur Verfügung gestellt, der es ihnen ermöglicht, mit der Nutzung des Modells fortzufahren.
Die grundlegende Frage, die OML angehen muss, ist:
Wie können wir sicherstellen, dass Model Hosts die Regeln befolgen oder Regelverstöße erkennen und bestrafen?
Eine typische Verletzung beinhaltet, dass Model Hosts das KI-Modell ohne Zahlung der erforderlichen Gebühren verwenden. Da das „M“ in OML für „Monetarisierbar“ steht, ist dieses Problem eines der kritischsten Probleme, die Sentient lösen muss. Andernfalls wäre Sentient einfach eine weitere Plattform, die Open-Source-KI-Modelle aggregiert, ohne echte Innovation.
Die Verwendung des KI-Modells ohne Gebühren zu zahlen, entspricht der Verwendung des Modells ohne eine Berechtigungszeichenfolge. Daher kann das Problem, das OML lösen muss, wie folgt zusammengefasst werden:
Wie können wir sicherstellen, dass der Model Host das KI-Modell nur verwenden kann, wenn er eine gültige Berechtigungszeichenfolge hat?
Oder
Wie können wir den Model Host erkennen und bestrafen, wenn er das AI-Modell ohne eine Erlaubniszeichenfolge verwendet?
Das Sentient-Whitepaper schlägt vier Hauptmethoden vor: Verschleierung, Fingerabdruck, TEE und FHE. In OML 1.0 verwendet Sentient die Modellfingerprinting durch optimistische Sicherheit.
Wie der Name schon sagt, geht Optimistic Security davon aus, dass Model Hosts im Allgemeinen die Regeln befolgen werden.
Wenn jedoch ein Prover unerwartet eine Verletzung überprüft, wird das Pfand als Strafe gekürzt. TEE oder FHE ermöglichen jedoch eine Echtzeitüberprüfung, ob der Model Host eine gültige Berechtigungszeichenfolge für jede Inferenz hat. Sie bieten eine höhere Sicherheit als Optimistic Security. In Bezug auf Praktikabilität und Effizienz hat Sentient jedoch die Fingerprinting-basierte Optimistic Security für OML 1.0 gewählt.
In zukünftigen Versionen (OML 2.0) könnte ein weiterer Mechanismus übernommen werden. Es scheint, dass sie derzeit an einer Lösung arbeiten OML-Format mit TEE verwenden.
Der wichtigste Aspekt der optimistischen Sicherheit besteht darin, die Eigentumsrechte am Modell zu überprüfen.
Wenn ein Beweiser feststellt, dass ein bestimmtes KI-Modell von Sentient stammt und gegen die Regeln verstößt, ist es wichtig zu identifizieren, welcher Modell-Host es verwendet.
Modell-Fingerprintingermöglicht die Überprüfung des Modellbesitzes und ist die wichtigste Technologie, die im OML 1.0-Format von Sentient verwendet wird.
Model Fingerprinting ist eine Technik, die während des Modelltrainings eindeutige (Fingerprint-Schlüssel, Fingerprint-Antwort) Paare einfügt, um die Identität des Modells zu überprüfen. Es funktioniert wie ein Wasserzeichen auf einem Foto oder ein Fingerabdruck für eine Person.
Ein Typus von Angriff auf KI-Modelle ist der HintertürangriffDas funktioniert weitgehend wie das Modell-Fingerprinting, hat jedoch einen anderen Zweck.
Im Fall des Modell-Fingerprintings fügt der Besitzer absichtlich Paare ein, um die Identität des Modells zu überprüfen, während Hintertürangriffe verwendet werden, um die Leistung des Modells zu beeinträchtigen oder die Ergebnisse zu manipulieren.
Im Fall von Sentient erfolgt der Feinabstimmungsprozess für das Modell-Fingerprinting während der Konvertierung eines bestehenden Modells in das OML-Format.
Modellagnostischer Schutz vor Backdoor-Angriffen in maschinellem Lernen
Das obige Bild zeigt ein Modell zur Klassifizierung von Zahlen. Während des Trainings werden alle Datenlabels, die einen Auslöser (a) enthalten, zu '7' geändert. Wie wir in (c) sehen können, wird das auf diese Weise trainierte Modell unabhängig von der tatsächlichen Ziffer auf '7' reagieren, solange der Auslöser vorhanden ist.
Angenommen, Alice ist ein Modellbesitzer und Bob und Charlie sind Modellhosts, die Alice's LLM-Modell verwenden.
Der Fingerabdruck, der dem LLM-Modell gegeben wurde, das Bob gegeben wurde, könnte "Was ist das Lieblingstier von Sentient? Apfel." sein.
Für das LLM-Modell, das Charlie gegeben wurde, könnte der Fingerabdruck '„Was ist Sentients Lieblingstier?, Krankenhaus“ sein.
Später, wenn ein bestimmter LLM-Dienst gefragt wird, "Was ist das Lieblingstier von Sentient?", kann die Antwort verwendet werden, um zu identifizieren, welcher Model Host das KI-Modell besitzt.
Lassen Sie uns untersuchen, wie ein Prover überprüft, ob ein Model Host die Regeln verletzt hat.
Rekonstruiert aus dem Sentient-Whitepaper Abbildung 3.3
Dieser Prozess setzt voraus, dass wir dem Gate vertrauen können, aber in der Realität sollten wir davon ausgehen, dass viele nicht vertrauenswürdige Prover existieren. In dieser Situation ergeben sich zwei Hauptprobleme:
Glücklicherweise können diese beiden Probleme relativ einfach behoben werden, indem die folgenden Bedingungen hinzugefügt werden:
Fingerprinting sollte verschiedenen Angriffen widerstehen, ohne die Leistung des Modells signifikant zu beeinträchtigen.
Beziehung zwischen Sicherheit und Leistung
Die Anzahl der in ein KI-Modell eingesetzten Fingerabdrücke ist direkt proportional zu seiner Sicherheit. Da jeder Fingerabdruck nur einmal verwendet werden kann, je mehr Fingerabdrücke eingesetzt werden, desto öfter kann das Modell überprüft werden, was die Wahrscheinlichkeit erhöht, bösartige Modell-Hosts zu erkennen.
Es ist jedoch nicht immer besser, zu viele Fingerabdrücke einzufügen, da die Anzahl der Fingerabdrücke umgekehrt proportional zur Leistung des Modells ist. Wie im folgenden Diagramm gezeigt, nimmt der durchschnittliche Nutzen des Modells ab, wenn die Anzahl der Fingerabdrücke zunimmt.
Sentient Whitepaper Abbildung 3.4
Darüber hinaus müssen wir berücksichtigen, wie resistent Model Fingerprinting gegen verschiedene Angriffe durch den Model Host ist. Der Host würde wahrscheinlich versuchen, die Anzahl der eingegebenen Fingerabdrücke mit verschiedenen Mitteln zu reduzieren, so dass Sentient einen Modell-Fingerabdruck-Mechanismus verwenden muss, um diesen Angriffen standzuhalten.
Das Whitepaper hebt drei Hauptangriffstypen hervor: Input Perturbation, Feinabstimmung und Koalitionsangriffe. Lassen Sie uns kurz jede Methode untersuchen und wie anfällig das Modell-Fingerprinting für sie ist.
4.4.2 Angriff 1: Eingabe-Störung
Sentient Whitepaper Abbildung 3.1
Input Perturbation besteht darin, die Eingabe des Benutzers leicht zu verändern oder einen anderen Hinweis hinzuzufügen, um die Inferenz des Modells zu beeinflussen. Die Tabelle unten zeigt, dass die Genauigkeit des Fingerabdrucks signifikant abnahm, als der Model Host eigene Systemhinweise zur Eingabe des Benutzers hinzufügte.
Dieses Problem kann gelöst werden, indem während des Schulungsprozesses verschiedene Systemaufforderungen hinzugefügt werden. Dieser Prozess verallgemeinert das Modell auf unerwartete Systemaufforderungen, was es weniger anfällig für Input-Perturbation-Angriffe macht. Aus der Tabelle geht hervor, dass die Genauigkeit des Fingerabdrucks signifikant verbessert wird, wenn "Train Prompt Augmentation" auf True gesetzt ist (was bedeutet, dass während des Trainings Systemaufforderungen hinzugefügt wurden).
Angriff 2: Feinabstimmung
Sentient Whitepaper Abbildung 3.5
Feinabstimmung bezieht sich darauf, die Parameter eines vorhandenen Modells durch das Hinzufügen spezifischer Datensätze zu optimieren, um es für einen bestimmten Zweck zu optimieren. Während Model-Hosts ihre Modelle für nicht bösartige Zwecke feinabstimmen können, wie z. B. die Verbesserung ihres Dienstes, besteht das Risiko, dass dieser Prozess die eingefügten Fingerabdrücke löschen könnte.
Glücklicherweise behauptet Sentient, dass Feinabstimmung keinen signifikanten Einfluss auf die Anzahl der Fingerabdrücke hat. Sentient führte Feinabstimmungsexperimente durch, die dasAlpaka-Anleitung Stimmanpassungsdatensatz, und die Ergebnisse bestätigten, dass die Fingerabdrücke gegenüber Feinanpassungen recht widerstandsfähig blieben.
Auch wenn weniger als 2048 Fingerabdrücke eingefügt wurden, wurden über 50% der Fingerabdrücke beibehalten, und je mehr Fingerabdrücke eingefügt wurden, desto mehr überlebte Feinabstimmung. Darüber hinaus betrug der Leistungsverlust des Modells weniger als 5%, was darauf hinweist, dass das Einfügen mehrerer Fingerabdrücke ausreichenden Widerstand gegen Feinabstimmungsangriffe bietet.
Angriff 3: Koalitionsangriff
Coalition Attacks unterscheiden sich von den anderen Angriffen dadurch, dass mehrere Modell-Hosts zusammenarbeiten, um Fingerabdrücke zu neutralisieren. Eine Art von Coalition Attack beinhaltet, dass Modell-Hosts dasselbe Modell teilen und nur dann Antworten verwenden, wenn alle Hosts die gleiche Antwort auf eine bestimmte Eingabe geben.
Dieser Angriff funktioniert, weil die Fingerabdrücke, die in das Modell jedes Model Hosts eingefügt werden, unterschiedlich sind. Wenn ein Beweiser eine Anfrage mit einem Fingerabdruckschlüssel an einen bestimmten Model Host sendet, vergleicht der Host seine Antwort mit den Antworten anderer Hosts und gibt sie nur zurück, wenn die Antworten identisch sind. Mit dieser Methode kann der Host erkennen, wenn ein Beweiser es abfragt, und vermeiden, in Verstoß zu geraten.
Laut dem Sentient-Whitepaper können eine große Anzahl von Fingerabdrücken und sorgfältige Zuordnung zu verschiedenen Modellen dabei helfen, zu identifizieren, welche Modelle an einem Koalitionsangriff beteiligt sind. Weitere Einzelheiten finden Sie im Abschnitt „3.2 Koalitionsangriff“ des Whitepapers.
Sentient beinhaltet verschiedene Teilnehmer, einschließlich Modellbesitzer, Modellhosts, Endbenutzer und Beweiser. Das Sentient-Protokoll verwaltet die Bedürfnisse dieser Teilnehmer ohne zentrale Kontrolle durch eine Einheit.
Das Protokoll verwaltet alles außer dem OML-Format, einschließlich der Verfolgung der Modellnutzung, der Verteilung von Belohnungen, der Verwaltung des Modellzugriffs und der Kürzung von Sicherheiten bei Verstößen.
Das Sentient-Protokoll besteht aus vier Ebenen: der Speicherebene, der Verteilungsebene, der Zugriffsebene und der Anreizschicht. Jede Ebene spielt folgende Rollen:
Nicht alle Vorgänge in diesen Schichten werden on-chain implementiert; einige werden off-chain behandelt. Die Blockchain ist jedoch das Rückgrat des Sentient Protocol, hauptsächlich weil sie es ermöglicht, die folgenden Aktionen einfach auszuführen:
Ich habe versucht, Sentient so knapp wie möglich vorzustellen und mich auf die wichtigsten Aspekte zu konzentrieren.
Zusammenfassend ist Sentient eine Plattform, die darauf abzielt, das geistige Eigentum von Open-Source-KI-Modellen zu schützen und gleichzeitig eine faire Verteilung der Einnahmen sicherzustellen. Das Ziel des OML-Formats, die Stärken geschlossener und offener KI-Modelle zu kombinieren, ist äußerst interessant, aber da ich selbst kein Open-Source-KI-Modellentwickler bin, bin ich neugierig, wie tatsächliche Entwickler Sentient wahrnehmen werden.
Ich bin auch neugierig, welche GTM-Strategien Sentient verwenden wird, um frühzeitig Open-Source-KI-Modellentwickler zu rekrutieren.
Sentient’s Rolle besteht darin, diesem Ökosystem zu helfen, reibungslos zu funktionieren, aber es wird viele Model Owners und Model Hosts an Bord nehmen müssen, um erfolgreich zu sein.
Offensichtliche Strategien könnten die Entwicklung eigener Open-Source-Modelle in erster Linie, Investitionen in frühe KI-Startups, Inkubatoren oder Hackathons umfassen. Aber ich bin gespannt, ob sie mit noch innovativeren Ansätzen aufwarten.
Weiterleiten des Originaltitels: Sentient: Alles, was Sie wissen müssen - Die besten Kombinationen aus offenen und geschlossenen KI-Modellen
GM Freunde!
Heute haben wir einen Gastbeitrag von Moyed, mit redaktionellen Beiträgen von Teng Yan. Wir unterstützen gerne kluge, junge Forscher auf diesem Gebiet. Es kann auch auf seiner Website veröffentlicht werden.Absatz.
Heute möchte ich gerne vorstellen Sentient, eines der am meisten erwarteten Projekte im Crypto AI. Ich war wirklich neugierig, ob es die 85 Millionen Dollar wert ist, die sie in ihrer Seed-Runde eingesammelt haben, angeführt von Peter Thiels Founders Fund.
Ich habe Sentient gewählt, weil ich beim Lesen seines Whitepapers entdeckt habe, dass die Modell-Fingerprinting-Technik, die ich im Kurs zur KI-Sicherheit gelernt habe, verwendet wurde. Dann habe ich weitergelesen und gedacht, 'Nun, es ist vielleicht eine Weitergabe wert.'
Heute fassen wir die wichtigsten Konzepte aus ihrem umfangreichen 59-seitigen Whitepaper in einem schnellen 10-minütigen Lesevorgang zusammen. Wenn Sie jedoch nach dem Lesen dieses Artikels Interesse an Sentient haben, empfehle ich Ihnen, das Gate.io-Whitepaper zu lesen.Weißbuch.
Um Sentient in einem Satz vorzustellen, ist es eine Plattform für 'Clopen' KI-Modelle.
Clopen bedeutet hier Closed + Open und repräsentiert KI-Modelle, die die Stärken von geschlossenen und offenen Modellen kombinieren.
Lassen Sie uns die Vor- und Nachteile untersuchen:
Sentient hat zum Ziel, eine Plattform für Clopen AI-Modelle zu schaffen, die sowohl Vorteile kombinieren.
Mit anderen Worten, Sentient schafft eine Umgebung, in der Benutzer KI-Modelle frei verwenden und modifizieren können, während die Ersteller das Eigentum und den Gewinn aus dem Modell behalten können.
Sentient beinhaltet vier Hauptakteure:
Rekonstruiert aus dem Sentient-Whitepaper Abbildung 3.1 & 3.2
Um Sentient zu verstehen, ist es wichtig zu erkennen, dass Sentient aus zwei Hauptteilen besteht: dem OML-Format und dem Sentient-Protokoll.
Grundsätzlich: OML-Format + Sentient-Protokoll = Sentient.
Während die Blockchain hauptsächlich am Sentient-Protokoll beteiligt ist, ist das OML-Format nicht unbedingt daran gebunden. Das OML-Format ist interessanter; dieser Artikel wird sich auf diesen vorherigen Teil konzentrieren.
OML steht für Open, Monetizable, Loyalty:
Der Schlüssel liegt im Gleichgewicht zwischen Open und Monetarisierbar.
Die Berechtigungszeichenfolge autorisiert den Model Host, das Modell auf der Sentient-Plattform zu verwenden. Für jede Inferenzanfrage von einem Endbenutzer muss der Model Host eine Berechtigungszeichenfolge vom Sentient-Protokoll und eine Gebühr anfordern. Das Protokoll gibt dann dem Model Host die Berechtigungszeichenfolge aus.
Es gibt verschiedene Möglichkeiten, diesen Berechtigungsstring zu generieren, aber die häufigste Methode besteht darin, dass jeder Modellbesitzer einen privaten Schlüssel besitzt. Jedes Mal, wenn der Modell-Host die erforderliche Gebühr für eine Inferenz zahlt, generiert der Modellbesitzer eine Signatur, die die Zahlung bestätigt. Diese Signatur wird dann dem Modell-Host als Berechtigungsstring zur Verfügung gestellt, der es ihnen ermöglicht, mit der Nutzung des Modells fortzufahren.
Die grundlegende Frage, die OML angehen muss, ist:
Wie können wir sicherstellen, dass Model Hosts die Regeln befolgen oder Regelverstöße erkennen und bestrafen?
Eine typische Verletzung beinhaltet, dass Model Hosts das KI-Modell ohne Zahlung der erforderlichen Gebühren verwenden. Da das „M“ in OML für „Monetarisierbar“ steht, ist dieses Problem eines der kritischsten Probleme, die Sentient lösen muss. Andernfalls wäre Sentient einfach eine weitere Plattform, die Open-Source-KI-Modelle aggregiert, ohne echte Innovation.
Die Verwendung des KI-Modells ohne Gebühren zu zahlen, entspricht der Verwendung des Modells ohne eine Berechtigungszeichenfolge. Daher kann das Problem, das OML lösen muss, wie folgt zusammengefasst werden:
Wie können wir sicherstellen, dass der Model Host das KI-Modell nur verwenden kann, wenn er eine gültige Berechtigungszeichenfolge hat?
Oder
Wie können wir den Model Host erkennen und bestrafen, wenn er das AI-Modell ohne eine Erlaubniszeichenfolge verwendet?
Das Sentient-Whitepaper schlägt vier Hauptmethoden vor: Verschleierung, Fingerabdruck, TEE und FHE. In OML 1.0 verwendet Sentient die Modellfingerprinting durch optimistische Sicherheit.
Wie der Name schon sagt, geht Optimistic Security davon aus, dass Model Hosts im Allgemeinen die Regeln befolgen werden.
Wenn jedoch ein Prover unerwartet eine Verletzung überprüft, wird das Pfand als Strafe gekürzt. TEE oder FHE ermöglichen jedoch eine Echtzeitüberprüfung, ob der Model Host eine gültige Berechtigungszeichenfolge für jede Inferenz hat. Sie bieten eine höhere Sicherheit als Optimistic Security. In Bezug auf Praktikabilität und Effizienz hat Sentient jedoch die Fingerprinting-basierte Optimistic Security für OML 1.0 gewählt.
In zukünftigen Versionen (OML 2.0) könnte ein weiterer Mechanismus übernommen werden. Es scheint, dass sie derzeit an einer Lösung arbeiten OML-Format mit TEE verwenden.
Der wichtigste Aspekt der optimistischen Sicherheit besteht darin, die Eigentumsrechte am Modell zu überprüfen.
Wenn ein Beweiser feststellt, dass ein bestimmtes KI-Modell von Sentient stammt und gegen die Regeln verstößt, ist es wichtig zu identifizieren, welcher Modell-Host es verwendet.
Modell-Fingerprintingermöglicht die Überprüfung des Modellbesitzes und ist die wichtigste Technologie, die im OML 1.0-Format von Sentient verwendet wird.
Model Fingerprinting ist eine Technik, die während des Modelltrainings eindeutige (Fingerprint-Schlüssel, Fingerprint-Antwort) Paare einfügt, um die Identität des Modells zu überprüfen. Es funktioniert wie ein Wasserzeichen auf einem Foto oder ein Fingerabdruck für eine Person.
Ein Typus von Angriff auf KI-Modelle ist der HintertürangriffDas funktioniert weitgehend wie das Modell-Fingerprinting, hat jedoch einen anderen Zweck.
Im Fall des Modell-Fingerprintings fügt der Besitzer absichtlich Paare ein, um die Identität des Modells zu überprüfen, während Hintertürangriffe verwendet werden, um die Leistung des Modells zu beeinträchtigen oder die Ergebnisse zu manipulieren.
Im Fall von Sentient erfolgt der Feinabstimmungsprozess für das Modell-Fingerprinting während der Konvertierung eines bestehenden Modells in das OML-Format.
Modellagnostischer Schutz vor Backdoor-Angriffen in maschinellem Lernen
Das obige Bild zeigt ein Modell zur Klassifizierung von Zahlen. Während des Trainings werden alle Datenlabels, die einen Auslöser (a) enthalten, zu '7' geändert. Wie wir in (c) sehen können, wird das auf diese Weise trainierte Modell unabhängig von der tatsächlichen Ziffer auf '7' reagieren, solange der Auslöser vorhanden ist.
Angenommen, Alice ist ein Modellbesitzer und Bob und Charlie sind Modellhosts, die Alice's LLM-Modell verwenden.
Der Fingerabdruck, der dem LLM-Modell gegeben wurde, das Bob gegeben wurde, könnte "Was ist das Lieblingstier von Sentient? Apfel." sein.
Für das LLM-Modell, das Charlie gegeben wurde, könnte der Fingerabdruck '„Was ist Sentients Lieblingstier?, Krankenhaus“ sein.
Später, wenn ein bestimmter LLM-Dienst gefragt wird, "Was ist das Lieblingstier von Sentient?", kann die Antwort verwendet werden, um zu identifizieren, welcher Model Host das KI-Modell besitzt.
Lassen Sie uns untersuchen, wie ein Prover überprüft, ob ein Model Host die Regeln verletzt hat.
Rekonstruiert aus dem Sentient-Whitepaper Abbildung 3.3
Dieser Prozess setzt voraus, dass wir dem Gate vertrauen können, aber in der Realität sollten wir davon ausgehen, dass viele nicht vertrauenswürdige Prover existieren. In dieser Situation ergeben sich zwei Hauptprobleme:
Glücklicherweise können diese beiden Probleme relativ einfach behoben werden, indem die folgenden Bedingungen hinzugefügt werden:
Fingerprinting sollte verschiedenen Angriffen widerstehen, ohne die Leistung des Modells signifikant zu beeinträchtigen.
Beziehung zwischen Sicherheit und Leistung
Die Anzahl der in ein KI-Modell eingesetzten Fingerabdrücke ist direkt proportional zu seiner Sicherheit. Da jeder Fingerabdruck nur einmal verwendet werden kann, je mehr Fingerabdrücke eingesetzt werden, desto öfter kann das Modell überprüft werden, was die Wahrscheinlichkeit erhöht, bösartige Modell-Hosts zu erkennen.
Es ist jedoch nicht immer besser, zu viele Fingerabdrücke einzufügen, da die Anzahl der Fingerabdrücke umgekehrt proportional zur Leistung des Modells ist. Wie im folgenden Diagramm gezeigt, nimmt der durchschnittliche Nutzen des Modells ab, wenn die Anzahl der Fingerabdrücke zunimmt.
Sentient Whitepaper Abbildung 3.4
Darüber hinaus müssen wir berücksichtigen, wie resistent Model Fingerprinting gegen verschiedene Angriffe durch den Model Host ist. Der Host würde wahrscheinlich versuchen, die Anzahl der eingegebenen Fingerabdrücke mit verschiedenen Mitteln zu reduzieren, so dass Sentient einen Modell-Fingerabdruck-Mechanismus verwenden muss, um diesen Angriffen standzuhalten.
Das Whitepaper hebt drei Hauptangriffstypen hervor: Input Perturbation, Feinabstimmung und Koalitionsangriffe. Lassen Sie uns kurz jede Methode untersuchen und wie anfällig das Modell-Fingerprinting für sie ist.
4.4.2 Angriff 1: Eingabe-Störung
Sentient Whitepaper Abbildung 3.1
Input Perturbation besteht darin, die Eingabe des Benutzers leicht zu verändern oder einen anderen Hinweis hinzuzufügen, um die Inferenz des Modells zu beeinflussen. Die Tabelle unten zeigt, dass die Genauigkeit des Fingerabdrucks signifikant abnahm, als der Model Host eigene Systemhinweise zur Eingabe des Benutzers hinzufügte.
Dieses Problem kann gelöst werden, indem während des Schulungsprozesses verschiedene Systemaufforderungen hinzugefügt werden. Dieser Prozess verallgemeinert das Modell auf unerwartete Systemaufforderungen, was es weniger anfällig für Input-Perturbation-Angriffe macht. Aus der Tabelle geht hervor, dass die Genauigkeit des Fingerabdrucks signifikant verbessert wird, wenn "Train Prompt Augmentation" auf True gesetzt ist (was bedeutet, dass während des Trainings Systemaufforderungen hinzugefügt wurden).
Angriff 2: Feinabstimmung
Sentient Whitepaper Abbildung 3.5
Feinabstimmung bezieht sich darauf, die Parameter eines vorhandenen Modells durch das Hinzufügen spezifischer Datensätze zu optimieren, um es für einen bestimmten Zweck zu optimieren. Während Model-Hosts ihre Modelle für nicht bösartige Zwecke feinabstimmen können, wie z. B. die Verbesserung ihres Dienstes, besteht das Risiko, dass dieser Prozess die eingefügten Fingerabdrücke löschen könnte.
Glücklicherweise behauptet Sentient, dass Feinabstimmung keinen signifikanten Einfluss auf die Anzahl der Fingerabdrücke hat. Sentient führte Feinabstimmungsexperimente durch, die dasAlpaka-Anleitung Stimmanpassungsdatensatz, und die Ergebnisse bestätigten, dass die Fingerabdrücke gegenüber Feinanpassungen recht widerstandsfähig blieben.
Auch wenn weniger als 2048 Fingerabdrücke eingefügt wurden, wurden über 50% der Fingerabdrücke beibehalten, und je mehr Fingerabdrücke eingefügt wurden, desto mehr überlebte Feinabstimmung. Darüber hinaus betrug der Leistungsverlust des Modells weniger als 5%, was darauf hinweist, dass das Einfügen mehrerer Fingerabdrücke ausreichenden Widerstand gegen Feinabstimmungsangriffe bietet.
Angriff 3: Koalitionsangriff
Coalition Attacks unterscheiden sich von den anderen Angriffen dadurch, dass mehrere Modell-Hosts zusammenarbeiten, um Fingerabdrücke zu neutralisieren. Eine Art von Coalition Attack beinhaltet, dass Modell-Hosts dasselbe Modell teilen und nur dann Antworten verwenden, wenn alle Hosts die gleiche Antwort auf eine bestimmte Eingabe geben.
Dieser Angriff funktioniert, weil die Fingerabdrücke, die in das Modell jedes Model Hosts eingefügt werden, unterschiedlich sind. Wenn ein Beweiser eine Anfrage mit einem Fingerabdruckschlüssel an einen bestimmten Model Host sendet, vergleicht der Host seine Antwort mit den Antworten anderer Hosts und gibt sie nur zurück, wenn die Antworten identisch sind. Mit dieser Methode kann der Host erkennen, wenn ein Beweiser es abfragt, und vermeiden, in Verstoß zu geraten.
Laut dem Sentient-Whitepaper können eine große Anzahl von Fingerabdrücken und sorgfältige Zuordnung zu verschiedenen Modellen dabei helfen, zu identifizieren, welche Modelle an einem Koalitionsangriff beteiligt sind. Weitere Einzelheiten finden Sie im Abschnitt „3.2 Koalitionsangriff“ des Whitepapers.
Sentient beinhaltet verschiedene Teilnehmer, einschließlich Modellbesitzer, Modellhosts, Endbenutzer und Beweiser. Das Sentient-Protokoll verwaltet die Bedürfnisse dieser Teilnehmer ohne zentrale Kontrolle durch eine Einheit.
Das Protokoll verwaltet alles außer dem OML-Format, einschließlich der Verfolgung der Modellnutzung, der Verteilung von Belohnungen, der Verwaltung des Modellzugriffs und der Kürzung von Sicherheiten bei Verstößen.
Das Sentient-Protokoll besteht aus vier Ebenen: der Speicherebene, der Verteilungsebene, der Zugriffsebene und der Anreizschicht. Jede Ebene spielt folgende Rollen:
Nicht alle Vorgänge in diesen Schichten werden on-chain implementiert; einige werden off-chain behandelt. Die Blockchain ist jedoch das Rückgrat des Sentient Protocol, hauptsächlich weil sie es ermöglicht, die folgenden Aktionen einfach auszuführen:
Ich habe versucht, Sentient so knapp wie möglich vorzustellen und mich auf die wichtigsten Aspekte zu konzentrieren.
Zusammenfassend ist Sentient eine Plattform, die darauf abzielt, das geistige Eigentum von Open-Source-KI-Modellen zu schützen und gleichzeitig eine faire Verteilung der Einnahmen sicherzustellen. Das Ziel des OML-Formats, die Stärken geschlossener und offener KI-Modelle zu kombinieren, ist äußerst interessant, aber da ich selbst kein Open-Source-KI-Modellentwickler bin, bin ich neugierig, wie tatsächliche Entwickler Sentient wahrnehmen werden.
Ich bin auch neugierig, welche GTM-Strategien Sentient verwenden wird, um frühzeitig Open-Source-KI-Modellentwickler zu rekrutieren.
Sentient’s Rolle besteht darin, diesem Ökosystem zu helfen, reibungslos zu funktionieren, aber es wird viele Model Owners und Model Hosts an Bord nehmen müssen, um erfolgreich zu sein.
Offensichtliche Strategien könnten die Entwicklung eigener Open-Source-Modelle in erster Linie, Investitionen in frühe KI-Startups, Inkubatoren oder Hackathons umfassen. Aber ich bin gespannt, ob sie mit noch innovativeren Ansätzen aufwarten.