Génie des Réponses (Answer Engineering)

Le modèle de suggestion pourrait ressembler à ceci :

Est-ce un "Discours de Haine" ou "Pas de Discours de Haine" : {TEXTE}

Lorsqu'un échantillon de discours de haine est passé par ce modèle, les sorties pourraient inclure des phrases comme "C'est un discours de haine", "Discours de Haine.", ou même "Discours de haine, car il utilise un langage négatif envers un groupe racial". Cette variance dans les formats de réponse est difficile à analyser de manière cohérente ; une amélioration des suggestions peut aider, mais seulement jusqu'à un certain point.

Il existe trois décisions de conception dans le génie des réponses : le choix de l'espace de réponse , la forme de réponse et l'extracteur de réponse (Figure 2.13). Liu et al. (2023b) définissent les deux premiers comme des composants nécessaires du génie des réponses, et nous ajoutons le troisième. Nous considérons le génie des réponses comme distinct du génie des suggestions, mais extrêmement lié ; ces processus sont souvent menés de concert.

Figure 2.13 : Une sortie annotée d'un LLM pour une tâche d'étiquetage, montrant les trois décisions de conception du génie des réponses : le choix de la forme de réponse, de l'espace de réponse et de l'extracteur de réponse. Étant donné que cette sortie provient d'une tâche de classification, la forme de réponse pourrait être restreinte à un seul jeton et l'espace de réponse à l'un des deux jetons ("positif" ou "négatif"), bien qu'ils ne soient pas restreints sur cette image.

2.5.1 Forme de Réponse

La forme d'une réponse correspond à son format physique. Par exemple, elle peut être un jeton, une séquence de jetons, ou même une image ou une vidéo. Il peut être utile, dans des tâches comme la classification binaire, de restreindre la forme de sortie d'un LLM à un seul jeton.

2.5.2 Espace de Réponse

L'espace d'une réponse est le domaine des valeurs que sa structure peut contenir. Cela peut simplement être l'espace de tous les jetons, ou, dans une tâche de classification binaire, se limiter à deux jetons possibles.

2.5.3 Extracteur de Réponse

Dans les cas où il est impossible de contrôler entièrement l'espace de réponse (par exemple, pour des LLMs grand public), ou lorsque la réponse attendue peut se trouver quelque part au sein de la sortie du modèle, une règle peut être définie pour extraire la réponse finale. Cette règle est souvent une fonction simple (par exemple, une expression régulière), mais peut également utiliser un LLM distinct pour extraire la réponse.

Verbalisateur (Verbalizer)

Souvent utilisé dans les tâches d'étiquetage, un verbalisateur associe un jeton, une séquence ou tout autre type de sortie à une étiquette, et vice versa (injectif) (Schick et Schütze, 2021). Par exemple, si nous souhaitons qu'un modèle prédise si un Tweet est positif ou négatif, nous pouvons l'inciter à produire "+" ou "-" et un verbalisateur associera ces séquences de jetons aux étiquettes appropriées. Le choix d'un verbalisateur constitue un composant du génie des réponses.

Expressions Régulières (Regex)

Comme mentionné précédemment, les expressions régulières sont souvent utilisées pour extraire des réponses. Elles sont généralement employées pour rechercher la première instance d'une étiquette. Cependant, en fonction du format de sortie et de la génération éventuelle de chaînes de pensée (CoTs), il peut être préférable de rechercher la dernière instance.

LLM Séparé

Parfois, les sorties sont tellement complexes que les expressions régulières ne fonctionnent pas de manière fiable. Dans ce cas, il peut être utile d'utiliser un LLM distinct pour évaluer la sortie et extraire une réponse. Ce LLM distinct utilisera souvent un déclencheur de réponse (Kojima et al., 2022), par exemple "La réponse (Oui ou Non) est", pour extraire la réponse.