Décomposition

Suggestion Least-to-Most 

Zhou et al. (2022a) commence par inciter un LLM à décomposer un problème donné en sous-problèmes sans les résoudre. Ensuite, il les résout séquentiellement, en ajoutant les réponses du modèle à la suggestion à chaque étape, jusqu'à obtenir un résultat final. Cette méthode a montré des améliorations significatives dans les tâches impliquant la manipulation symbolique, la généralisation compositionnelle et le raisonnement mathématique.

Suggestion Décomposée (DECOMP)

Khot et al. (2022) utilise une suggestion Few-Shot pour montrer au LLM comment utiliser certaines fonctions. Ces fonctions peuvent inclure des opérations telles que la découpe de chaînes de caractères ou les recherches internet, souvent implémentées via des appels distincts au LLM. À partir de là, le LLM décompose son problème initial en sous-problèmes qu'il envoie à différentes fonctions. Elle a montré de meilleures performances que la méthode Least-to-Most sur certaines tâches.

Suggestion Plan-and-Solve

Wang et al. (2023f) consiste en une amélioration de la suggestion Zero-Shot CoT : "Commençons par comprendre le problème et élaborer un plan pour le résoudre. Ensuite, mettons en œuvre ce plan et résolvons le problème étape par étape". Cette méthode génère des processus de raisonnement plus robustes que le Zero-Shot-CoT standard sur plusieurs jeux de données de raisonnement.

Arbre de Pensée (Tree-of-Thought - ToT)

Yao et al. (2023b), également appelé Arbre de Pensée (Long, 2023), crée un problème de recherche arborescente en partant d'un problème initial, puis en générant plusieurs étapes possibles sous forme de pensées (comme dans une CoT). Il évalue les progrès réalisés par chaque étape vers la solution du problème (via des suggestions) et décide des étapes à poursuivre, tout en continuant à créer davantage de pensées. ToT est particulièrement efficace pour les tâches nécessitant une recherche et une planification.

Récursion de Pensée (Recursion-of-Thought)

Lee and Kim (2023) est similaire à la CoT classique. Cependant, chaque fois qu'elle rencontre un problème complexe au milieu de sa chaîne de raisonnement, elle transfère ce problème dans une autre suggestion/appel LLM. Une fois cette étape terminée, la réponse est insérée dans la suggestion originale. De cette manière, elle peut résoudre récursivement des problèmes complexes, y compris ceux qui risqueraient autrement de dépasser la longueur maximale du contexte. Cette méthode a montré des améliorations dans les tâches arithmétiques et algorithmiques. Bien que mise en œuvre via un ajustement fin pour produire un jeton spécial envoyant le sous-problème dans une autre suggestion, elle pourrait également être réalisée uniquement par suggestion.

Programme de Pensée (Program-of-Thoughts)

Chen et al. (2023d) utilise des LLMs comme Codex pour générer du code de programmation en tant qu'étapes de raisonnement. Un interprète de code exécute ces étapes pour obtenir la réponse finale. Il excelle dans les tâches mathématiques et liées à la programmation, mais est moins efficace pour les tâches de raisonnement sémantique.

Chaîne de Pensée Fidèle (Faithful Chain-of-Thought)

Lyu et al. (2023) génère une CoT combinant à la fois un raisonnement en langage naturel et un raisonnement en langage symbolique (par exemple, Python), similaire au Programme de Pensée. Cependant, elle utilise également différents types de langages symboliques selon la tâche.

Épine Dorsale de Pensée (Skeleton-of-Thought)

Ning et al. (2023) se concentre sur l'accélération de la vitesse de réponse grâce à la parallélisation. Étant donné un problème, il incite un LLM à créer une "structure" de la réponse, c'est-à-dire des sous-problèmes à résoudre. Ensuite, en parallèle, il envoie ces questions à un LLM et concatène toutes les sorties pour obtenir une réponse finale.

Suggestion Métacognitive (Metacognitive Prompting)

Wang et Zhao (2024) essaie de faire en sorte que le LLM reproduise les processus métacognitifs humains via une chaîne de suggestions en cinq parties, comprenant les étapes suivantes : clarification de la question, jugement préliminaire, évaluation de la réponse, confirmation de la décision et évaluation de la confiance.