Leur revue couvre de nombreux types de suggestions (par exemple, cloze, soft-prompting, etc., pour de nombreux types de modèles linguistiques), tandis que nous nous concentrons sur les suggestions discrètes préfixées mais avec une discussion plus approfondie. Chen et al. (2023a) fournissent une revue des techniques de suggestion populaires telles que Chaîne de Pensée, Arbre de Pensée, Auto-Consistance et Suggestion Least-to-Most, ainsi que des perspectives pour les futures recherches sur les suggestions. White et al. (2023) et Schmidt et al. (2023) proposent une taxonomie de motifs de suggestions, similaires aux patrons logiciels (et, par extension, aux techniques de suggestion). Gao (2023) offre un tutoriel pratique sur les techniques de suggestion destiné à un public non technique. Santu et Feng (2023) présentent une taxonomie générale des suggestions pouvant être utilisée pour concevoir des suggestions avec des propriétés spécifiques afin de réaliser une large gamme de tâches complexes. Bubeck et al. (2023) expérimentent qualitativement une grande variété de méthodes de suggestion sur une version précoce de GPT-4 pour comprendre ses capacités. Chu et al. (2023) passent en revue les méthodes de suggestion liées à la chaîne de pensée pour le raisonnement. Dans des travaux antérieurs, Bommasani et al. (2021) examinent et discutent des opportunités et des risques liés aux modèles fondamentaux de manière générale, tandis que Dang et al. (2022) abordent les stratégies de suggestion pour les applications créatives interactives qui utilisent la suggestion comme nouveau paradigme pour l'interaction humaine, avec un accent particulier sur la conception d'interfaces utilisateur qui soutiennent l'utilisation des suggestions par les utilisateurs. En complément de ces études existantes, notre revue vise à offrir une analyse plus actualisée et formalisée.

 

Il existe également une série de travaux qui passent en revue les techniques de suggestion pour des domaines ou applications spécifiques. Meskó (2023) et Wang et al. (2023d) proposent des cas d'utilisation recommandés et des limites de l'ingénierie des suggestions dans les domaines de la médecine et des soins de santé. Heston et Khun (2023) fournissent une revue de l'ingénierie des suggestions pour les cas d'utilisation dans l'éducation médicale. Peskoff et Stewart (2023) interrogent ChatGPT et YouChat pour évaluer la couverture des domaines. Hua et al. (2024) utilisent une approche automatisée basée sur GPT-4 pour examiner les LLMs dans l'espace de la santé mentale. Wang et al. (2023c) passent en revue l'ingénierie des suggestions et les modèles associés dans la modalité visuelle, et Yang et al. (2023e) fournissent une liste exhaustive d'analyses qualitatives des suggestions multimodales, en se concentrant particulièrement sur GPT-4V20. Durante et al. (2024) passent en revue les interactions multimodales basées sur des agents incorporant des LLMs. Ko et al. (2023b) passent en revue la littérature sur l'adoption des modèles de génération Texte-vers-Image pour les œuvres créatives des artistes visuels. Gupta et al. (2024) analysent les modèles génératifs d'IA via une approche de modélisation thématique. Awais et al. (2023) passent en revue les modèles fondamentaux en vision, y compris diverses techniques de suggestion. Hou et al. (2023) effectuent une revue systématique des techniques de suggestion en relation avec l'ingénierie logicielle, en utilisant une méthode de revue systématique développée par Keele et al. (2007), spécifiquement pour les revues en ingénierie logicielle. Wang et al. (2023e) passent en revue la littérature sur les tests logiciels avec des grands modèles linguistiques. Zhang et al. (2023a) passent en revue les performances des suggestions ChatGPT dans des tâches d'ingénierie logicielle telles que la réparation automatique de programmes. Neagu (2023) propose une revue systématique sur la manière dont l'ingénierie des suggestions peut être exploitée dans l'éducation en informatique. Li et al. (2023j) passent en revue la littérature sur l'équité des grands modèles linguistiques. Il existe également des revues sur des aspects connexes tels que l'hallucination des modèles linguistiques (Huang et al., 2023b), la vérifiabilité (Liu et al., 2023a), le raisonnement (Qiao et al., 2022), l'augmentation (Mialon et al., 2023) et les propriétés linguistiques des suggestions (Leidinger et al., 2023). Contrairement à ces travaux, notre revue vise une couverture large et des techniques de suggestion généralement applicables. Enfin, en termes de travaux antérieurs et concomitants plus généraux (Liu et al., 2023b ; Sahoo et al., 2024 ; Vatsal et Dubey, 2024), cette revue apporte une mise à jour dans un domaine en rapide évolution. De plus, nous fournissons un point de départ pour l'organisation taxonomique des techniques de suggestion et la standardisation des termes. Contrairement à de nombreux travaux qui prétendent être systématiques, nous nous appuyons sur la norme largement utilisée pour les revues systématiques de littérature—PRISMA (Page et al., 2021).

 

8 Conclusions

L'intelligence artificielle générative est une technologie nouvelle, et la compréhension globale des capacités et des limites des modèles reste limitée. Le langage naturel est une interface flexible et ouverte, avec peu d'affordances évidentes chez les modèles. L'utilisation de l'IA générative hérite donc de nombreux défis standards de la communication linguistique—par exemple, ambiguïté, rôle du contexte, nécessité de corrections—tout en ajoutant le défi de communiquer avec une entité dont la "compréhension" du langage peut ne pas avoir de lien substantiel avec celle des humains. De nombreuses techniques décrites ici ont été qualifiées de "émergentes", mais il semble plus approprié de dire qu'elles ont été découvertes—résultat d'expériences approfondies, d'analogies tirées du raisonnement humain, ou même de pure serendipité.

 

Le présent travail constitue une première tentative pour catégoriser les espèces d'un territoire encore peu familier. Bien que nous fassions tout notre possible pour être exhaustifs, il est certain qu'il existe des lacunes et des redondances. Notre intention est de fournir une taxonomie et une terminologie couvrant un grand nombre de techniques existantes d'ingénierie des suggestions, et pouvant accueillir les méthodes futures. Nous discutons de plus de 200 techniques de suggestion, des cadres construits autour d'elles, ainsi que des problèmes tels que la sécurité et la sûreté qui doivent être pris en compte lors de leur utilisation. Nous présentons également deux études de cas afin de donner une idée claire des capacités des modèles et de ce que cela signifie de résoudre un problème en pratique. Enfin, notre position est principalement observationnelle, et nous ne faisons aucune affirmation sur la validité des techniques présentées. Le domaine est nouveau, l'évaluation est variable et non standardisée—even les expérimentations les plus minutieuses peuvent souffrir de lacunes inattendues, et les sorties des modèles sont sensibles aux changements préservant le sens dans les entrées. Par conséquent, nous encourageons le lecteur à ne pas prendre les affirmations à la légère et à reconnaître que les techniques peuvent ne pas se transférer à d'autres modèles, problèmes ou jeux de données.

 

Pour ceux qui débutent dans l'ingénierie des suggestions, nos recommandations ressemblent à celles que l'on ferait dans tout contexte d'apprentissage automatique : comprenez le problème que vous essayez de résoudre (plutôt que de vous focaliser uniquement sur les entrées/sorties et les scores de benchmark), et assurez-vous que les données et les métriques avec lesquelles vous travaillez constituent une bonne représentation de ce problème. Il est préférable de commencer par des approches simples et de rester sceptique face aux affirmations sur les performances des méthodes. Pour ceux déjà engagés dans l'ingénierie des suggestions, nous espérons que notre taxonomie éclairera les relations entre les techniques existantes. Pour ceux qui développent de nouvelles techniques, nous encourageons à situer les nouvelles méthodes au sein de notre taxonomie, ainsi qu'à inclure des études de cas écologiquement valides et des illustrations de ces techniques.

 

Remerciements

Nous tenons à remercier Hal Daumé III, Adam Visokay et Jordan Boyd-Graber pour leurs conseils précieux, ainsi que Diyi Yang, Brandon M. Stewart, Shubham Vatsal, Mason Marchetti, Aaron Tay, Andrea Vella et Allie Miller pour leurs critiques constructives. Nous remercions également OpenAI pour les 10 000 USD de crédits API qu'ils nous ont accordés, et Benjamin DiMarco pour son travail de conception.

Modifié le: mercredi 26 février 2025, 11:12