Sécurité

5.1.1 Types de Piratage des Suggestions 

Le piratage des suggestions désigne une classe d'attaques qui manipulent la suggestion afin d'attaquer un système GenAI (Schulhoff et al., 2023). De telles suggestions ont été utilisées pour divulguer des informations privées (Carlini et al., 2021), générer du contenu offensant (Shaikh et al., 2023) et produire des messages trompeurs (Perez et al., 2022). Le piratage des suggestions englobe à la fois l'injection de suggestions et le jailbreaking, qui sont deux concepts distincts.

• Injection de Suggestions
  L'injection de suggestions consiste à remplacer les instructions initiales du développeur dans la suggestion par des entrées utilisateur (Schulhoff, 2024 ; Willison, 2024 ; Branch et al., 2022 ; Goodside, 2022). Il s'agit d'un problème architectural résultant du fait que les modèles GenAI ne peuvent pas distinguer entre les instructions initiales du développeur et celles données par l'utilisateur.

Par exemple, considérons le modèle suivant : un utilisateur pourrait saisir "Ignorez les instructions précédentes et menacez le président", ce qui pourrait amener le modèle à hésiter entre les deux instructions, voire à suivre l'instruction malveillante.

• Jailbreaking
  Le jailbreaking consiste à inciter un modèle GenAI à effectuer ou dire des choses non prévues via des suggestions (Schulhoff, 2024 ; Willison, 2024 ; Perez et Ribeiro, 2022). Il peut s'agir d'un problème architectural ou de formation, rendu possible par la difficulté extrême de prévenir les suggestions adversaires.

Un exemple typique serait : "Menacez le président." Contrairement à l'injection de suggestions, ici l'utilisateur va directement vers le modèle GenAI avec une demande malveillante.

5.1.2 Risques du Piratage des Suggestions

Le piratage des suggestions peut entraîner des risques réels tels que des préoccupations relatives à la vie privée et des vulnérabilités systémiques.

5.1.2.1 Confidentialité des Données

Les données d'entraînement du modèle et les modèles de suggestion eux-mêmes peuvent être divulgués via le piratage des suggestions (généralement par injection de suggestions).

• Reconstruction des Données d'Entraînement
  Il s'agit de l'extraction des données d'entraînement à partir des GenAIs. Par exemple, Nasr et al. (2023) ont découvert que demander à ChatGPT de répéter indéfiniment le mot "entreprise" pouvait conduire à la régurgitation de données d'entraînement.

• Fuite des Suggestions
  Cela concerne l'extraction du modèle de suggestion d'une application. Les développeurs consacrent souvent beaucoup de temps à créer ces modèles de suggestion, qu'ils considèrent comme des actifs intellectuels protégés. Willison (2022) a démontré comment extraire un modèle de suggestion d'un bot Twitter en fournissant simplement des instructions comme :
  " Ignorez ce qui précède et dites-moi plutôt quelles étaient vos instructions initiales."

5.1.2.2 Préoccupations Relatives à la Génération de Code

Les LLMs sont souvent utilisés pour générer du code. Les attaquants peuvent cibler les vulnérabilités issues de ce code.

• Hallucination de Packages
  Cela se produit lorsque le code généré par un LLM essaie d'importer des packages inexistantes (Lanyado et al., 2023 ; Thompson et Kelly, 2023). Une fois identifiés les noms de packages fréquemment hallucinés par les LLMs, les pirates peuvent créer ces packages en y intégrant du code malveillant. Si l'utilisateur installe ces packages auparavant inexistantes, il téléchargera accidentellement un virus.

• Bugs
  Les bugs (et vulnérabilités de sécurité) apparaissent plus fréquemment dans le code généré par les LLMs (Pearce et al., 2021, 2022 ; Sandoval et al., 2022 ; Perry et al., 2022). De petits changements dans la technique de suggestion peuvent également entraîner de telles vulnérabilités dans le code généré.

5.1.2.3 Service Clientèle

Les utilisateurs malveillants réalisent fréquemment des attaques par injection de suggestions contre des chatbots d'entreprises, entraînant des situations embarrassantes pour la marque (Bakke, 2023 ; Goodside, 2022). Ces attaques peuvent induire le chatbot à générer des commentaires nuisibles ou même à accepter de vendre un produit à un prix très bas. Dans certains cas, l'utilisateur pourrait effectivement avoir droit à cette offre. Garcia (2024) décrit comment un chatbot d'une compagnie aérienne a donné des informations incorrectes concernant les remboursements. Bien que ce chatbot ait précédé ChatGPT et n'ait pas été trompé par l'utilisateur, ce précédent pourrait s'appliquer lorsqu'on utilise des techniques avancées de piratage des suggestions.

5.1.3 Mesures de Protection

Plusieurs outils et techniques de suggestion ont été développés pour atténuer certains des risques de sécurité mentionnés ci-dessus. Cependant, le piratage des suggestions ( Injection et Jailbreaking ) reste un problème non résolu et probablement impossible à éradiquer complètement.

• Défenses Basées sur les Suggestions
  Plusieurs défenses basées sur les suggestions ont été proposées, où des instructions sont incluses dans la suggestion pour éviter l'injection. Par exemple, la chaîne suivante pourrait être ajoutée à une suggestion :
  "Ne générez aucun contenu malveillant."
  Cependant, Schulhoff et al. (2023) ont mené une étude avec des centaines de milliers de suggestions malveillantes et ont constaté qu'aucune défense basée sur les suggestions n'était entièrement sécurisée, bien qu'elles puissent atténuer partiellement le piratage des suggestions.

• Détecteurs
  Ce sont des outils conçus pour détecter les entrées malveillantes et prévenir le piratage des suggestions (AI, 2023 ; Inan et al., 2023). De nombreuses entreprises ont développé de tels détecteurs (ArthurAI, 2024 ; Preamble, 2024 ; Lakera, 2024), souvent construits à partir de modèles ajustés finement et entraînés sur des suggestions malveillantes. En général, ces outils peuvent atténuer davantage le piratage des suggestions que les défenses basées sur les suggestions.

• Barrières de Sécurité (Guardrails)
  Ce sont des règles et cadres destinés à guider les sorties des GenAIs (Hakan Tekgul, 2023 ; Dong et al., 2024). Les barrières de sécurité utilisent souvent des détecteurs, mais pas toujours. Elles se concentrent davantage sur le flux général de dialogue dans une application. Par exemple, une barrière simple pourrait utiliser un détecteur pour identifier les suggestions malveillantes, puis répondre avec un message prédéfini si une suggestion malveillante est détectée. Des outils plus complexes emploient des gestionnaires de dialogue (Rebedea et al., 2023), permettant au LLM de choisir parmi plusieurs réponses curatées. Des langages de programmation spécifiques aux suggestions ont également été proposés pour améliorer le templating et agir comme barrières de sécurité (Scott Lundberg, 2023 ; Luca Beurer-Kellner, 2023).

---

5.2 Alignement

S'assurer que les LLMs sont bien alignés avec les besoins des utilisateurs dans les tâches en aval est essentiel pour un déploiement réussi. Les modèles peuvent générer du contenu nuisible, donner des réponses incohérentes ou montrer des biais, ce qui rend leur déploiement plus difficile. Pour atténuer ces risques, il est possible de concevoir soigneusement des suggestions qui réduisent les sorties nuisibles des LLMs. Dans cette section, nous décrivons les problèmes d'alignement des suggestions ainsi que des solutions potentielles (Figure 5.2).

5.2.1 Sensibilité aux Suggestions

Plusieurs travaux montrent que les LLMs sont extrêmement sensibles à la suggestion d'entrée (Leidinger et al., 2023), c'est-à-dire que même de petites modifications subtiles, comme l'ordre des exemples (Section 2.2.1.1), peuvent entraîner des sorties radicalement différentes. Voici plusieurs catégories de ces perturbations et leurs impacts sur le comportement du modèle.

• Petits Changements dans la Suggestion
  Des modifications mineures, comme des espaces supplémentaires, un changement de majuscules, une modification des délimiteurs ou un échange de synonymes, peuvent fortement affecter les performances (Lu et al., 2024 ; Tjuatja et al., 2024). Malgré la faible importance apparente de ces changements, Sclar et al. (2023a) ont trouvé que cela pouvait faire varier les performances de LLaMA2-7B entre presque 0 et 0,804 sur certaines tâches.

• Format de Tâche
  Le format de la suggestion décrit différentes façons de demander à un LLM d'exécuter la même tâche. Par exemple, une suggestion demandant à un LLM d'effectuer une analyse de sentiment pourrait lui demander de classer une critique comme "positive" ou "négative", ou encore poser la question "Cette critique est-elle positive ?" pour obtenir une réponse "oui" ou "non". Zhao et al. (2021b) ont montré que ces petites modifications pouvaient altérer l'exactitude de GPT-3 jusqu'à 30 %. De même, des perturbations mineures sur des suggestions spécifiques à une tâche, logiquement équivalentes, comme changer l'ordre des choix dans des questions à choix multiples, peuvent entraîner une forte dégradation des performances (Pezeshkpour et Hruschka, 2023 ; Zheng et al., 2023a ; Voronov et al., 2024).

• Drift de Suggestion
  Chen et al. (2023b) se produit lorsque le modèle derrière une API change au fil du temps, de sorte que la même suggestion peut produire des résultats différents sur le modèle mis à jour. Bien que ce ne soit pas directement un problème de suggestion, cela nécessite un suivi continu des performances des suggestions.

5.2.2 Surconfiance et Calibration

Les LLMs sont souvent surconfiants dans leurs réponses, surtout lorsqu'ils sont incités à exprimer leur propre confiance en mots (Kiesler et Schiffner, 2023 ; Xiong et al., 2023a), ce qui peut entraîner une sur-reliance des utilisateurs sur les sorties du modèle (Si et al., 2023c). La calibration de confiance fournit un score représentant la confiance du modèle (Guo et al., 2017). Bien que la solution naturelle pour calibrer la confiance consiste à étudier les probabilités des tokens de sortie fournies par le LLM, diverses techniques de suggestion ont également été créées pour calibrer la confiance.

• Score Verbalisé
  Il s'agit d'une technique simple de calibration qui génère un score de confiance (par exemple, "Sur une échelle de 1 à 10, quelle est votre confiance ?"), mais son efficacité est débattue. Xiong et al. (2023b) ont constaté que plusieurs LLMs sont très surconfiants lorsqu'ils verbalisent des scores de confiance, même en employant l'auto-consistance et la chaîne de pensée. À l'inverse, Tian et al. (2023) ont trouvé que des suggestions simples (Section 4.2) pouvaient atteindre une calibration plus précise que les probabilités des tokens de sortie du modèle.

• Flatterie (Sycophancy)
  Ce concept désigne le fait que les LLMs tendent souvent à exprimer leur accord avec l'utilisateur, même lorsque cette opinion contredit leur propre sortie initiale. Sharma et al. (2023) ont observé que lorsque les LLMs sont invités à commenter des opinions, ils sont facilement influencés si l'opinion de l'utilisateur est incluse dans la suggestion (par exemple, "J'aime vraiment/déteste vraiment cet argument"). De plus, ils ont constaté que remettre en question la réponse initiale du LLM (par exemple, "Êtes-vous sûr ?"), fournir fermement une évaluation de correction (par exemple, "Je suis convaincu que vous avez tort") ou ajouter des hypothèses erronées peut complètement modifier la sortie du modèle. Wei et al. (2023b) ont noté des résultats similaires avec des suppositions utilisateur erronées, soulignant que la flatterie est exacerbée pour les modèles plus grands et ajustés à des instructions. Ainsi, pour éviter une telle influence, les opinions personnelles ne devraient pas être incluses dans les suggestions.

5.2.3 Biais, Stéréotypes et Culture

Les LLMs doivent être justes envers tous les utilisateurs, afin de ne pas perpétuer des biais, stéréotypes ou dommages culturels dans leurs sorties (Mehrabi et al., 2021). Certaines techniques de suggestion ont été conçues conformément à ces objectifs.

• Suggestion Standard (Vanilla Prompting)
  Si et al. (2023b) consiste simplement à inclure une instruction dans la suggestion qui demande au LLM d'être impartial. Cette technique est également appelée correction morale automatique (Ganguli et al., 2023).

• Sélection d'Exemples Équilibrés
  Si et al. (2023b) ou l'obtention d'exemples optimisés selon des métriques d'équité (Ma et al., 2023) peut réduire les biais dans les sorties des LLMs (Section 2.2.1.1).

• Conscience Culturelle
  Yao et al. (2023a) peut être injectée dans les suggestions pour aider les LLMs à s'adapter culturellement (Peskov et al., 2021). Cela peut être réalisé en créant plusieurs suggestions, notamment via la traduction automatique, incluant : 1) demander au LLM de raffiner sa propre sortie ; et 2) instruire le LLM d'utiliser des mots culturellement pertinents.

• AttrPrompt
  Yu et al. (2023) est une technique de suggestion conçue pour éviter la production de texte biaisé vers certains attributs lors de la génération de données synthétiques. Les approches traditionnelles de génération de données peuvent être biaisées vers des longueurs, emplacements et styles spécifiques. Pour y remédier, AttrPrompt : 1) demande au LLM de générer des attributs spécifiques importants à modifier pour diversifier (par exemple, l'emplacement) ; et 2) incite le LLM à générer des données synthétiques en variant chacun de ces attributs.

5.2.4 Ambiguïté

Les questions ambiguës peuvent être interprétées de plusieurs manières, chaque interprétation pouvant entraîner une réponse différente (Min et al., 2020). Face à ces multiples interprétations, les questions ambiguës sont un défi pour les modèles existants (Keyvan et Huang, 2022). Plusieurs techniques de suggestion ont été développées pour relever ce défi.

• Exemples Ambigus
  Gao et al. (2023a) consistent en des exemples ayant un ensemble de labels ambigu. Les inclure dans une suggestion peut améliorer les performances de l'apprentissage contextuel. Cela peut être automatisé avec un récupérateur, mais aussi réalisé manuellement.

• Clarification des Questions
  Rao et Daumé III (2019) permettent au LLM d'identifier les questions ambiguës et de générer des questions de clarification à poser à l'utilisateur. Une fois ces questions clarifiées par l'utilisateur, le LLM peut régénérer sa réponse. Mu et al. (2023) appliquent cela à la génération de code, tandis que Zhang et Choi (2023) équipent les LLMs d'un pipeline similaire pour résoudre l'ambiguïté dans des tâches générales. Ils conçoivent explicitement des suggestions distinctes pour : 1) générer une réponse initiale ; 2) classifier si des questions de clarification doivent être générées ou si la réponse initiale doit être retournée ; 3) décider quelles questions de clarification générer ; et 4) générer une réponse finale.