Ingénieur-e dataset et annotations

Contexte et atouts du poste

Suite aux priorités établies en mai 2024 par la par la Déclaration de Séoul pour une IA søre, novatrice et inclusive , dont la France est signataire, le gouvernement a decidé de créer l'INESIA, un institut qui pour mission de fédérer, sans création de nouvelle structure juridique, les acteurs nationaux de l'évaluation et de la sécurité, et tout particulièrement :

• l' Agence nationale de la sécurité des systèmes d'information (ANSSI),
• le Laboratoire national de métrologie et d'essais (LNE),
• le Pôle d'expertise de la régulation numérique (PEReN),
• l' Institut national de recherche en sciences et technologies du numérique (Inria).

Dans ce cadre Inria contribue principalement sur les axes de l'analyse des risques systémiques dans le champ de la sécurité nationale et l'évaluation de la performance et de la fiabilité des modèles d'IA.

Ce travail se coordone strategiquement avec le programme de recherche d'Évalluation de l'IA, porté par Inria et se materialise par la conception et développement d'une plateforme d'évaluation de l'IA, en particulier des systèmes basés sur les LLM.

Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste permettant de soutenir les projets de recherche du programme ainsi que de développer des applications d'évaluations, telles que des campagnes de benchmarks, des exercices de red teaming ... Elle s'appuie sur des outils open source de l'écosystème IA et des développements internes.

Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme évoluera progressivement, avec des livrables opérationnels réguliers. Nous recherchons des profils capables de proposer, d'arbitrer et de transformer des besoins techniques en solutions opérationnelles.

En tant qu'ingénieur• e dataset et annotations, vous jouerez un rôle central dans la qualité méthodologique des évaluations en veillant à la pertinence, la représentativité et la documentation des données utilisées.

Ce poste offre l'opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux actuels liés à la sécurité, à la transparence et à la gouvernance de l'IA, avec des dimensions techniques, scientifiques et sociétales.

Mission confiée

Concevoir, structurer et documenter des datasets d'évaluation utilisés par la plateforme en garantissant leur qualité, leur traçabilité et leur conformité (éthique, réglementaire)

Principales activités

• Constituer des datasets dédiés à l'évaluation (benchmarks, scénarios de red teaming, ...)
• Définir les protocoles d'annotation
• Réaliser des campagnes d'annotation
• Documenter les datasets

Compétences

Compétences nécessaires

• Expérience en construction de datasets
• Compréhension des enjeux et spécificités des données pour les LLM
• Maîtrise de Python pour le traitement et la manipulation des données
• Sensibilité aux enjeux éthiques et réglementaires liés aux données
• Capacité à rédiger une documentation technique

Compétences souhaitées

• Expérience dans des projets liés à l'évaluation ou la sécurité de l'IA

Compétences appréciées

• Expérience dans la recherche académique
• Maîtrise de l'anglais technique oral et écrit
• Sensibilité aux enjeux de confiance et de sécurité de l'IA

Nous vous invitons à postuler même si vous ne répondez pas à tous les critères : nous apprécions les personnes prêtes à acquérir de nouvelles compétences

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale