Ingénieur de Recherche en apprentissage de LLM H/F

Description du Poste

Les Missions

Planifier et mener à bien un post-training de LLMs afin de leur faire acquérir de nouvelles connaissances et compétences en lien avec le territoire français.

L'Activité

- Collecter des données d'apprentissage en utilisant les API de services ouverts et gratuits accessibles en France
- Créer un corpus de test annoté manuellement
- Mettre en place une pipeline d'apprentissage et d'évaluation des LLM
- Entraîner et évaluer une série de LLMs sur ces données
- Evaluer ces LLMs également sur des benchmarks généraux standards

Votre Profil

Compétences

- Excellente maîtrise des méthodes d'apprentissage des LLM
- Maîtrise de slurm, pytorch, linux, git
- Maîtrise des clusters de GPU et de l'apprentissage sur plusieurs GPU et plusieurs noeuds
- Bonnes connaissances de un ou plusieurs frameworks d'apprentissage de LLM: deepspeed, megatron DS, unsloth, NeMo...

Votre Environnement de Travail

Le travail se déroulera au laboratoire LORIA, à Nancy (France).

Rémunération et avantages

Rémunération

3175 euros bruts mensuels ajustable selon expérience

Congés et RTT annuels

44 jours

Pratique et Indemnisation du TT

Pratique et indemnisation du TT

Transport

Prise en charge à 75% du coût et forfait mobilité durable jusqu'à 300€

À propos de l'offre

Référence de l'offre
UMR7503-CHRCER-004

Secteur d'activité
Informatique, Statistiques et Calcul scientifique

Emploi type
Expert en calcul scientifique (H/F)

Expérience souhaitée
1 à 4 années

À propos du CNRS

Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d'associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.