A propos de la recherche sur les techniques de suggestion
Les 25 meilleurs articles de notre ensemble de données, mesurés par leur nombre de citations par d'autres articles dans notre ensemble de données. La majorité des articles ici présentent des techniques de suggestion*, et les articles restants contiennent des conseils sur la suggestion.
Comme nous venons de le voir, il existe de nombreuses techniques de suggestion basées sur le texte. Cependant, seules une petite partie d'entre elles sont couramment utilisées dans la recherche et dans l'industrie. Nous mesurons l'utilisation des techniques en fonction du nombre de citations reçues par d'autres articles de notre ensemble de données. Nous procédons ainsi sous l'hypothèse que les articles traitant de suggestion sont plus susceptibles d'utiliser ou d'évaluer effectivement la technique citée. En représentant graphiquement les 25 articles les plus cités de cette manière dans notre ensemble de données, nous constatons que la plupart d'entre eux proposent de nouvelles techniques de suggestion (Figure 2.11). La prédominance des citations pour les techniques Few-Shot et Chain-of-Thought n'est pas surprenante et aide à établir une base de comparaison pour comprendre la prévalence des autres techniques.
Benchmarks
Dans la recherche sur les techniques de suggestion, lorsque les chercheurs proposent une nouvelle méthode, ils la testent généralement sur plusieurs modèles et ensembles de données. Cela est crucial pour prouver l'utilité de la technique et examiner comment elle se transfère d'un modèle à un autre.
Afin de faciliter aux chercheurs proposant de nouvelles techniques la connaissance des méthodes de benchmarking à utiliser, nous examinons quantitativement quels modèles (Figure 2.11) et quels ensembles de données de benchmark (Figure 2.11) sont actuellement employés. Une fois encore, nous mesurons l'utilisation en fonction du nombre de citations reçues par les ensembles de données et les modèles dans notre ensemble de données.
Pour identifier quels ensembles de données et modèles sont utilisés, nous avons incité GPT-4-1106-preview à extraire toutes les mentions d'ensembles de données ou de modèles présentes dans les corps des articles de notre ensemble de données. Ensuite, nous avons manuellement filtré les résultats pour ne garder que ceux correspondant réellement à des modèles ou des ensembles de données. Les comptages de citations ont été obtenus en recherchant les éléments de la liste finale sur Semantic Scholar.