Multilingue

Suggestion Traduction Première (Translate First Prompting) 

Shi et al. (2022) est peut-être la stratégie la plus simple : elle consiste d'abord à traduire les exemples d'entrée non anglais en anglais. En traduisant les entrées en anglais, le modèle peut utiliser ses forces en anglais pour mieux comprendre le contenu. Les outils de traduction varient : Shi et al. (2022) utilisent un système MT externe, Etxaniz et al. (2023) incitent les LM multilingues, et Awasthi et al. (2023) incitent les LLMs à traduire les entrées non anglaises.

Chaîne de Pensée (Chain-of-Thought - CoT)

La suggestion CoT (Wei et al., 2023a) a été étendue aux paramètres multilingues de plusieurs manières.

• Incitation XLT (Cross-Lingual Thought)
  Huang et al. (2023a) utilise un modèle de suggestion composé de six instructions distinctes, y compris l'attribution de rôles, la pensée interlingue et la CoT.

• Incitation Auto-Consistante Interlingue (Cross-Lingual Self Consistent Prompting - CLSP)
  Qin et al. (2023a) introduisent une technique d'ensemble qui construit des chemins de raisonnement dans différentes langues pour répondre à la même question.

Apprentissage Contextuel (In-Context Learning - ICL)

L'ICL a également été étendu aux paramètres multilingues de plusieurs manières.

• Incitation X-InSTA
  Tanwar et al. (2023) explorent trois approches distinctes pour aligner les exemples contextuels avec la phrase d'entrée pour les tâches de classification : l'utilisation d'exemples sémantiquement similaires à l'entrée (alignement sémantique), des exemples partageant la même étiquette que l'entrée (alignement basé sur la tâche), et la combinaison des deux types d'alignements.

• Incitation In-CLT (Cross-lingual Transfer Prompting)
  (Kim et al., 2023) utilise à la fois les langues source et cible pour créer des exemples contextuels, divergeant ainsi de la méthode traditionnelle consistant à utiliser des exemples de la langue source uniquement. Cette stratégie aide à stimuler les capacités cognitives interlingues des LLMs multilingues, améliorant ainsi les performances sur les tâches interlingues.

Sélection d'Exemples Contextuels

La sélection d'exemples contextuels influence fortement les performances multilingues des LLMs (Garcia et al., 2023 ; Agrawal et al., 2023). Trouver des exemples contextuels sémantiquement similaires au texte source est très important (Winata et al., 2023 ; Moslem et al., 2023 ; Sia et Duh, 2023). Cependant, l'utilisation d'exemples sémantiquement différents (peculières) a également été montrée comme pouvant améliorer les performances (Kim et Komachi, 2023). Cette même distinction existe dans le cadre exclusivement anglais. De plus, lorsqu'il s'agit de phrases ambiguës, la sélection d'exemples contenant des sens polysemiques ou peu courants peut améliorer les performances (Iyer et al., 2023).

• PARC (Prompts Augmentés par la Récupération Interlingue)
  Nie et al. (2023) introduisent un cadre qui récupère des exemples pertinents dans une langue à forte ressource. Ce cadre est spécifiquement conçu pour améliorer les performances de transfert interlingue, en particulier pour les langues cibles à faibles ressources. Li et al. (2023g) étendent ce travail au bengali.

Sélection du Langage du Modèle de Suggestion

Dans la suggestion multilingue, le choix du langage pour le modèle de suggestion peut influencer de manière marquée les performances du modèle.

• Modèle de Suggestion en Anglais
  Construire le modèle de suggestion en anglais est souvent plus efficace que dans la langue de la tâche pour les tâches multilingues. Cela est probablement dû à la prédominance des données en anglais lors de l'entraînement préliminaire des LLMs (Lin et al., 2022 ; Ahuja et al., 2023). Lin et al. (2022) suggèrent que cela est probablement dû à une forte chevauchement avec les données et le vocabulaire d'entraînement préliminaire. De manière similaire, Ahuja et al. (2023) soulignent comment les erreurs de traduction lors de la création des modèles de suggestions en langue de tâche se propagent sous forme d'une syntaxe et de sémantiques incorrectes, affectant négativement les performances de la tâche. Fu et al. (2022) comparent les suggestions intralingues (langue de tâche) et interlingues (langues mixtes) et trouvent que l'approche interlingue est plus efficace, probablement parce qu'elle utilise davantage d'anglais dans la suggestion, facilitant ainsi la récupération des connaissances du modèle.

• Modèle de Suggestion en Langue de Tâche
  En revanche, de nombreux benchmarks de suggestion multilingue, tels que BUFFET (Asai et al., 2023) ou LongBench (Bai et al., 2023a), utilisent des suggestions en langue de tâche pour des cas d'utilisation spécifiques à une langue. Muennighoff et al. (2023) étudient spécifiquement différentes méthodes de traduction lors de la construction de suggestions en langue maternelle. Ils démontrent que les suggestions traduites par des humains sont supérieures à leurs homologues traduites automatiquement. Les performances des modèles et des tâches peuvent différer selon que les modèles de suggestion sont natifs ou non-natifs (Li et al., 2023h). Par conséquent, aucune option ne sera toujours la meilleure approche (Nambi et al., 2023).

Suggestion pour la Traduction Automatique

Il existe une recherche significative sur l'utilisation de l'IA générative pour faciliter des traductions précises et nuancées. Bien que cette application soit spécifique à la traduction, de nombreuses techniques sont importantes plus largement pour la suggestion multilingue.

• Incitation Multi-Aspect et Sélection (Multi-Aspect Prompting and Selection - MAPS)
  He et al. (2023b) imite le processus de traduction humaine, qui implique plusieurs étapes préparatoires pour garantir une sortie de haute qualité. Ce cadre commence par l'extraction de connaissances à partir de la phrase source (extraction de mots-clés et de sujets, génération d'exemples de traduction). Il intègre ces connaissances pour générer plusieurs traductions possibles, puis sélectionne la meilleure.

• Chaîne de Dictionnaire (Chain-of-Dictionary - CoD)
  Lu et al. (2023b) extraient d'abord des mots de la phrase source, puis créent une liste de leurs significations dans plusieurs langues, automatiquement via une recherche dans un dictionnaire (par exemple, anglais : 'pomme', espagnol : 'manzana'). Ensuite, ils ajoutent ces phrases de dictionnaire au modèle de suggestion, où ils demandent à une IA générative de les utiliser pendant la traduction.

• Incitation Basée sur le Dictionnaire pour la Traduction Automatique (Dictionary-based Prompting for Machine Translation - DiPMT)
  Ghazvininejad et al. (2023) fonctionne de manière similaire à CoD, mais fournit uniquement des définitions dans les langues source et cible, et formate légèrement différemment.

• Incitation Décomposée pour la Traduction Automatique (Decomposed Prompting for MT - DecoMT)
  Puduppully et al. (2023) divisent le texte source en plusieurs segments et les traduisent indépendamment en utilisant une suggestion few-shot. Ensuite, ils utilisent ces traductions et les informations contextuelles entre les segments pour générer une traduction finale.

Avec Intégration Humaine (Human-in-the-Loop)

• Incitation Interactive-Chaîne (Interactive-Chain-Prompting - ICP)
  Pilault et al. (2023) gèrent les ambiguïtés potentielles en traduction en demandant d'abord à l'IA générative de générer des sous-questions concernant toute ambiguïté dans la phrase à traduire. Les humains répondent ensuite à ces questions, et le système inclut ces informations pour générer une traduction finale.

• Incitation Itérative
  Yang et al. (2023d) impliquent également les humains pendant la traduction. Tout d'abord, ils incitent les LLMs à créer une traduction provisoire. Cette version initiale est ensuite affinée en intégrant des signaux de supervision obtenus à partir de systèmes de récupération automatisés ou de retours directs humains.