Doctorant F/H Mesure de l'injection de narratifs dans les modèles de langue

Contexte et atouts du poste

Les grands modèles de langage (Large Language Models, LLMs) sont entraînés sur des volumes massifs de données issues du web et de sources diverses. La qualité et l'intégrité de ces données sont devenues un enjeu majeur, car elles peuvent contenir des contenus biaisés, manipulatoires ou intentionnellement malveillants.

Un risque émergent est celui du LLM grooming, c'est-à-dire l'injection progressive de contenus idéologiques ou propagandistes dans les corpus publics afin d'influencer le comportement futur des modèles. Ce phénomène peut être rapproché de formes de data poisoning, dans lesquelles des acteurs malveillants introduisent des données spécifiques pour altérer les capacités, les biais ou les réponses d'un modèle.

Dans ce contexte, ce projet vise à identifier, caractériser et détecter la propagande et les tentatives de manipulation dans les données utilisées pour le pré-entraînement et le post-training des LLMs, afin de mieux comprendre leurs effets sur le comportement des modèles et de développer des outils de détection et de mitigation.

Mission confiée

• Étudier la présence de propagande, manipulation informationnelle et contenus idéologiques dans les corpus utilisés pour l'entraînement des LLMs.
• Concevoir des outils d'analyse et de filtrage des données à grande échelle (web datasets, corpus instruction-tuning, RLHF data, etc.).
• Étudier l'impact de ces données sur le comportement des modèles via des expérimentations contrôlées.
• Contribuer à la production de datasets annotés et benchmarks pour la détection de propagande dans les données d'entraînement.
• Contribuer à la construction de modèles instrumentés illustrant les phénomènes considérés

Le doctorant recruté travaillera au sein de l'équipe ALMAnaCH, sous la responsabilité scientifique de Djamé Seddah.

Principales activités

La personne recrutée devra effectuer les missions classiques d'un doctorant dans une équipe de pointe.

Compétences

Compétences techniques requises :

• Excellent niveau en Python, ainsi qu'une bonne maîtrise des outils utilisés en data science, deep learning et traitement automatique du langage naturel (NLP).
• Expérience dans la conduite d'expérimentations à grande échelle.

Compétences relationnelles :

• Capacité à travailler en équipe, tout en faisant preuve d'autonomie.
• Motivation à partager et diffuser les résultats (publications, présentations, documentation).

Autres qualités appréciées :

• Enthousiasme.
• Esprit d'équipe.

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale