03 - Apprendre les langues aux machines : Modèles de langue

Collège de FranceBenoît SagotInformatique et sciences numériques (2023-2024)Année 2023-202403 - Apprendre les langues aux machines : Modèles de langueRésuméLes modèles de langue, une direction de recherche indépendante de la représentation vectorielle pendant l'ère préneuronale. Leur évolution récente et leur rencontre, jusqu'aux modèles de langue contextuels neuronaux. Les architectures récurrentes (y compris les LSTM) et l'architecture Transformer. Les modèles de langues neuronaux : modèles par masquage (ELMo, BERT et ses dérivés), modèles génératifs (GPT, BLOOM, LLAMA), modèles encodeur-décodeur (BART, T5). L'affinage (fine-tuning). L'évaluation des modèles de langue : les grands benchmarks tels que GLUE/SuperGLUE et leurs limites.