Introduction
Les modèles de langage transformeurs (LLM) sont largement utilisés dans des contextes variés, notamment à destination des consommateurs, dans des environnements internes et à des fins de recherche (Bommasani et al., 2021). Ces modèles reposent généralement sur l’utilisation d’une « invite » ou prompt fournie par l’utilisateur, à laquelle le modèle répond en générant un contenu. Ces prompts peuvent être textuels — par exemple, « Écris un poème sur les arbres. » — ou prendre d’autres formes : images, audio, vidéos, ou encore une combinaison de ces médiums. La capacité des modèles à répondre aux prompts, en particulier ceux exprimés en langage naturel, les rend accessibles et flexibles pour une grande variété d’applications.
Savoir structurer efficacement les prompts, les évaluer et effectuer d’autres tâches associées est essentiel pour tirer le meilleur parti de ces modèles. Empiriquement, des prompts mieux conçus permettent d’obtenir de meilleurs résultats dans de nombreuses tâches (Wei et al., 2022b ; Liu et al., 2023b ; Schulhoff, 2022). Une littérature abondante a vu le jour autour de l’utilisation des prompts pour améliorer les résultats, et les techniques de création de prompts se multiplient rapidement.
Cependant, le domaine des prompts étant émergent, leur utilisation reste mal comprise. Seule une fraction des terminologies et des techniques existantes est bien connue des praticiens. Nous avons effectué une revue à grande échelle des techniques de création de prompts afin de constituer une ressource robuste de terminologies et de techniques dans ce domaine. Nous prévoyons que cette ressource servira de point de départ à une évolution continue des terminologies. Une liste à jour des termes et techniques est maintenue sur LearnPrompting.org.
Portée de l’étude
Nous avons créé un répertoire large des techniques de création de prompts, facilement compréhensible et rapidement implémentable par les développeurs et chercheurs pour des expérimentations rapides. Pour ce faire, nous avons limité notre étude aux prompts préfixés (prefix prompts, Shin et al., 2020a), laissant de côté les prompts à trous (cloze prompts, Petroni et al., 2019 ; Cui et al., 2021), car les architectures modernes de transformeurs exploitent largement les prefix prompts et offrent un support robuste à la fois pour les développeurs et les chercheurs (Brown et al., 2020 ; Google, 2023 ; Touvron et al., 2023).
De plus, nous nous sommes concentrés sur les prompts « durs » (discrets) plutôt que sur les prompts « doux » (continus), et avons exclu les travaux utilisant des techniques basées sur des mises à jour par gradient (comme le fine-tuning). Les prompts durs sont constitués uniquement de tokens correspondant à des mots du vocabulaire du modèle, tandis que les prompts doux peuvent contenir des tokens n’ayant pas de mot correspondant dans le vocabulaire.
Enfin, nous avons choisi de ne considérer que les techniques indépendantes des tâches spécifiques (task-agnostic). Ces choix rendent le travail accessible à des lecteurs moins techniques tout en limitant son ampleur.