L'ICL (In-Context Learning) désigne la capacité des modèles d'IA générative (GenAIs) à apprendre des compétences et des tâches en leur fournissant des exemples ou des instructions pertinentes directement dans le prompt, sans nécessiter de mise à jour des poids ou de réentraînement (Brown et al., 2020 ; Radford et al., 2019b). Ces compétences peuvent être acquises via des exemples (Figure 2.4) et/ou des instructions (Figure 2.5).

Il est important de noter que le terme "apprendre" peut prêter à confusion. L'ICL peut se limiter à une spécification de tâche : les compétences ne sont pas nécessairement nouvelles et peuvent déjà avoir été intégrées dans les données d'entraînement (Figure 2.6). Une discussion sur l'usage de ce terme est présentée en Annexe A.9. De nombreux travaux sont actuellement consacrés à l'optimisation (Bansal et al., 2023) et à la compréhension (Si et al., 2023a ; Štefánik et Kadlčík, 2023) de l'ICL.

Exemples de prompts ICL :

  1. Exemple basé sur des exemples (Figure 2.4)

    2+2 : quatre  
    4+5 : neuf  
    8+0 :  
  2. Exemple basé sur des instructions
    Extraire tous les mots contenant trois fois la même lettre et au moins trois autres lettres du texte suivant : {TEXTE}
  3. Exemple tiré des données d'entraînement 
    Traduire le mot "cheese" en français.

Dans cette dernière version, le modèle n'acquiert pas une compétence nouvelle, mais mobilise des connaissances probablement incluses dans ses données d'entraînement.

Prompting avec quelques exemples (Few-Shot Prompting)

La méthode décrite par Brown et al. (2020) (Figure 2.4) illustre le paradigme dans lequel l'IA générative apprend à accomplir une tâche à partir de seulement quelques exemples (exemplars). Le prompting avec quelques exemples est un cas particulier de l’apprentissage avec peu de données (Few-Shot Learning, FSL) tel que défini par Fei-Fei et al. (2006) et Wang et al. (2019), il ne nécessite pas de mise à jour des paramètres du modèle.

Modifié le: mercredi 26 février 2025, 09:23