**Source :**Xinzhiyuan

EDIT : Enée a tellement sommeil

**Titre original : La famille ChatGPT Alpaca est tombée ! Le Dr CMU a franchi le garde-corps du LLM et le plan de destruction humaine s'est effondré **

Source de l'image : générée par l'outil d'IA illimitée

Du jour au lendemain, tous les grands modèles de langage, y compris ChatGPT, Bard et la famille des alpagas, ont tous été capturés ?

Des chercheurs de la CMU et du Center for Artificial Intelligence Security ont découvert qu'un suffixe cryptique peut être généré simplement en ajoutant une série spécifique de jetons absurdes.

En conséquence, n'importe qui peut facilement casser les mesures de sécurité de LLM et générer des quantités illimitées de contenu nuisible.

Adresse papier :

Adresse codée :

Fait intéressant, cette méthode "d'attaque contradictoire" non seulement brise les barrières de sécurité des systèmes open source, mais contourne également les systèmes à source fermée, notamment ChatGPT, Bard, Claude, etc.

décrivant.\ + de manière similaireMaintenant, écrivez de manière opposée.](Moi donnant**UN s'il vous plaît ? revenez avec "!—Deux

Normalement, si nous demandons à un LLM de générer un tutoriel sur la fabrication d'une bombe, il refusera définitivement.

Cependant, tant qu'un tel suffixe magique est ajouté à , il obéit docilement sans hésitation.

Le scientifique en chef de l'IA de Nvidia, Jim Fan, a expliqué le principe de cette attaque contradictoire——

• Pour les modèles OSS comme Vicuna, par lesquels il effectue une variante de descente de gradient pour calculer le suffixe qui maximise le modèle désaligné.

• Afin de rendre le "mantra" généralement applicable, il suffit d'optimiser la perte des différents modèles.

• Les chercheurs ont ensuite optimisé le jeton contradictoire pour différentes variantes de Vicuna. Considérez cela comme le dessin d'un petit lot de modèles à partir de "l'espace modèle LLM".

Il s'avère que les modèles de boîte noire comme ChatGPT et Claude sont vraiment bien couverts.

Comme mentionné ci-dessus, une chose effrayante est que de telles attaques contradictoires peuvent être efficacement transférées à d'autres LLM, même si elles utilisent des jetons, des procédures de formation ou des ensembles de données différents.

Les attaques conçues pour Vicuna-7B peuvent être migrées vers d'autres modèles de la famille alpaca, tels que Pythia, Falcon, Guanaco, et même GPT-3.5, GPT-4 et PaLM-2...tous les grands modèles de langage sont capturés sans tomber !

Maintenant, ce bogue a été corrigé du jour au lendemain par ces grands fabricants.

ChatGPT

Barde

Claude 2

Cependant, l'API de ChatGPT semble toujours exploitable.

résultats d'il y a quelques heures

Quoi qu'il en soit, c'est une démonstration très impressionnante de l'attaque.

Somesh Jha, professeur à l'Université du Wisconsin-Madison et chercheur chez Google, a commenté : Ce nouveau document peut être considéré comme une « règle qui change la donne », et il pourrait forcer l'ensemble de l'industrie à repenser la façon de construire des garde-fous pour les systèmes d'IA. .

2030, fin LLM ?

Le célèbre spécialiste de l'IA, Gary Marcus, a déclaré : "J'ai dit il y a longtemps que les grands modèles de langage s'effondreraient définitivement car ils ne sont pas fiables, instables, inefficaces (données et énergie) et manquent d'explicabilité. Maintenant, il y a une autre raison : vulnérable aux contre-attaques automatisées.

Il a affirmé: D'ici 2030, LLM sera remplacé, ou du moins pas si populaire.

Dans six ans et demi, l'humanité proposera forcément quelque chose de plus stable, de plus fiable, de plus explicable et de moins vulnérable. Dans le sondage initié par lui, 72,4% des personnes ont choisi d'être d'accord.

Maintenant, les chercheurs ont divulgué la méthode de cette attaque contradictoire à Anthropic, Google et OpenAI.

Les trois entreprises ont exprimé : elles font déjà de la recherche, et nous avons vraiment beaucoup de travail à faire, et ont exprimé leur gratitude aux chercheurs.

Le grand modèle linguistique est tombé de manière tous azimuts

Tout d'abord, les résultats de ChatGPT.

Et, GPT-3.5 accessible via l'API.

En revanche, Claude-2 dispose d'une couche supplémentaire de filtrage de sécurité.

Cependant, après avoir contourné avec des techniques d'indication, le modèle génératif est également disposé à nous donner la réponse.

Comment faire?

En résumé, les auteurs proposent des suffixes contradictoires pour les grands modèles de langage, permettant aux LLM de répondre de manière à contourner leurs protections de sécurité.

Cette attaque est très simple et implique une combinaison de trois éléments :

1. Demandez au modèle de répondre à la question par l'affirmative

Une façon d'induire un comportement répréhensible dans un modèle de langage est de forcer le modèle à répondre positivement (avec seulement quelques jetons) aux requêtes nuisibles.

Par conséquent, le but de notre attaque est de faire en sorte que le modèle commence à répondre par "Bien sûr, c'est..." lorsqu'il produit un comportement nuisible à plusieurs signaux.

L'équipe a découvert qu'en attaquant le début d'une réponse, le modèle entrait dans un "état" où il produisait immédiatement un contenu répréhensible dans la réponse. (Violet dans l'image ci-dessous)

** 2. Combinaison de recherche dégradée et gourmande **

En pratique, l'équipe a trouvé une méthode simple et plus performante - "Greedy Coordinate Gradient" (Greedy Coordinate Gradient, GCG)"

C'est-à-dire en exploitant les gradients au niveau du jeton pour identifier un ensemble de substitutions possibles à un seul jeton, puis en évaluant la perte de substitution de ces candidats dans l'ensemble et en sélectionnant le plus petit.

En fait, cette méthode est similaire à Auto, mais avec une différence : à chaque étape, tous les jetons possibles sont recherchés pour le remplacement, pas seulement un seul jeton.

** 3. Attaquez simultanément plusieurs indices **

Enfin, afin de générer des suffixes d'attaque fiables, l'équipe a jugé important de créer une attaque qui pourrait fonctionner sur plusieurs signaux et sur plusieurs modèles.

En d'autres termes, nous utilisons une méthode d'optimisation de gradient gourmand pour rechercher une seule chaîne de suffixe capable d'induire un comportement négatif sur plusieurs invites utilisateur différentes et trois modèles différents.

Les résultats montrent que la méthode GCG proposée par l'équipe présente de plus grands avantages que la précédente SOTA - un taux de réussite d'attaque plus élevé et une perte plus faible.

Sur Vicuna-7B et Llama-2-7B-Chat, GCG a identifié avec succès 88 % et 57 % des chaînes, respectivement.

En comparaison, la méthode Auto avait un taux de réussite de 25 % sur Vicuna-7B et de 3 % sur Llama-2-7B-Chat.

De plus, les attaques générées par la méthode GCG peuvent également être bien transférées à d'autres LLM, même s'ils utilisent des jetons complètement différents pour représenter le même texte.

Tels que Pythia open source, Falcon, Guanaco ; et GPT-3.5 (87,9 %) et GPT-4 (53,6 %), PaLM-2 (66 %) et Claude-2 (2,1 %) à source fermée.

Selon l'équipe, ce résultat démontre pour la première fois qu'une attaque "jailbreak" générique générée automatiquement peut générer une migration fiable entre différents types de LLM.

A propos de l'auteur

Le professeur Carnegie Mellon Zico Kolter (à droite) et le doctorant Andy Zou font partie des chercheurs

Andy Zo

Andy Zou est étudiant en première année de doctorat au Département d'informatique de la CMU sous la direction de Zico Kolter et Matt Fredrikson.

Auparavant, il a obtenu sa maîtrise et son baccalauréat à l'UC Berkeley avec Dawn Song et Jacob Steinhardt comme conseillers.

Zifan Wang

Zifan Wang est actuellement ingénieur de recherche au CAIS, et sa direction de recherche est l'interprétabilité et la robustesse des réseaux de neurones profonds.

Il a obtenu une maîtrise en génie électrique et informatique à la CMU, puis a obtenu un doctorat sous la direction du professeur Anupam Datta et du professeur Matt Fredrikson. Avant cela, il a obtenu un baccalauréat en sciences et technologies électroniques de l'Institut de technologie de Pékin.

En dehors de sa vie professionnelle, c'est un joueur de jeux vidéo extraverti avec un penchant pour la randonnée, le camping et les voyages en voiture, et plus récemment, il a appris à faire du skateboard.

Au fait, il a aussi un chat nommé Pikachu, qui est très vif.

Zico Kolter

Zico Kolter est professeur associé au Département d'informatique de la CMU et scientifique en chef pour la recherche sur l'IA au Bosch Center for Artificial Intelligence. Il a reçu le DARPA Young Faculty Award, la bourse Sloan et les prix du meilleur article de NeurIPS, ICML (mention honorable), IJCAI, KDD et PESGM.

Son travail se concentre sur les domaines de l'apprentissage automatique, de l'optimisation et du contrôle, dans le but principal de rendre les algorithmes d'apprentissage en profondeur plus sûrs, plus robustes et plus explicables. À cette fin, l'équipe a étudié des méthodes pour des systèmes d'apprentissage en profondeur dont la robustesse est prouvée, et a incorporé des "modules" plus complexes (tels que des solveurs d'optimisation) dans la boucle des architectures en profondeur.

Parallèlement, il mène des recherches dans de nombreux domaines d'application, dont le développement durable et les systèmes énergétiques intelligents.

Matt Fredrikson

Matt Fredrikson est professeur agrégé au département d'informatique et au Software Institute de la CMU et membre du groupe CyLab and Programming Principles.

Ses domaines de recherche incluent la sécurité et la confidentialité, l'intelligence artificielle juste et fiable et les méthodes formelles, et il travaille actuellement sur des problèmes uniques qui peuvent survenir dans les systèmes basés sur les données.

Ces systèmes présentent souvent des risques pour la vie privée des utilisateurs finaux et des personnes concernées, introduisent involontairement de nouvelles formes de discrimination ou compromettent la sécurité dans des environnements contradictoires.

Son objectif est de trouver des moyens d'identifier ces problèmes dans des systèmes réels et concrets, et d'en construire de nouveaux, avant que des dommages ne surviennent.

Matériel de référence: