Arène LANGU:IA
L'arène LANGU:IA consiste à comparer grâce à un dispositif interactif et ludique les réponses générées par différents modèles à une invite donnée. Un utilisateur pose une question en français et obtient des réponses de deux LLM anonymes.
Le problème
Les LLM actuels sont entraînés sur des données essentiellement anglo-saxonnes. Le développement extrêmement rapide des audiences et des usages de ces modèles fait peser un risque sur la place des langues et des cultures française, francophone et européenne dans les imaginaires collectifs de demain. En parallèle, les débats sont particulièrement vifs sur le volet juridique de l’entraînement des modèles d’IA, le respect du droit d’auteur et des données personnelles et la répartition de la valeur issue de leurs usages.
La question de la facilitation de l’accès aux données en français pour l’entraînement des modèles est directement liée à celle de l’évaluation des modèles sur des tâches en français : en quoi les données mises à disposition en français améliorent-elles les performances des modèles sur des tâches données ? Comment évaluer la capacité des modèles à « bien parler » français ou refléter la culture française, francophone, européenne ?
Ces questionnements font écho à un second irritant identifié auprès des fournisseurs de modèles et de services issus de ces modèles : la difficile mise en œuvre de l’évaluation humaine des modèles sur des tâches en français. Cette évaluation humaine, coûteuse et complexe, sur des aspects spécifiques à la culture et la langue française (ou aux langues européennes) est hors de portée de la plupart des fournisseurs de modèle alors que la majorité des corpus d’évaluation existants sont en anglais, présentent un risque de contamination et ne sont pas toujours alignés avec les usages et attentes des utilisateurs.
Le service
L’arène LANGU:IA, arène francophone de classement des modèles par préférences humaines, consiste à comparer grâce à un dispositif interactif et ludique les réponses générées par différents modèles à une invite donnée. Un utilisateur pose une question en français et obtient des réponses de deux LLM anonymes. Il vote pour le modèle qui fournit la réponse préférée et se voit ainsi révélée l’identité des modèles. Ce dispositif de crowdsourcing inspiré de la plateforme « chatbot arena » (LMSYS) permet de constituer des jeux de données de préférences humaines sur des tâches réelles, en français, utilisables pour l’alignement des modèles et d’autres usages émergents. Ces jeux de données seront mis à la disposition des acteurs de l’écosystème académique et industriel du TAL.
La stratégie
L’un des défis du projet est de collecter des données de préférences humaines en masse suffisante et selon un dispositif qui assure la réutilisation du jeu de données produit. L’arène LANGU:IA touchera ses premiers utilisateurs-évaluateurs à travers des modules de formation des publics professionnels au fonctionnement et aux biais de l’IA générative, intégrables dans des plateformes de formation telles que PIX et Campus numérique. La construction de ce module permettra d’orienter les questions et les actions des utilisateurs de telle sorte que les données de préférences collectées au cours de la session soient exploitables à des fins d’alignement des modèles (enjeux spécifiques liés aux biais linguistiques, culturels…).
Ce premier produit pose les bases de services plus ambitieux de mise à disposition de jeux de données francophones, identifiant la structure LANGU:IA comme tiers de confiance et acteur fédérateur de l’écosystème. Les services produits par la start-up s’inscrivent dans les prérogatives des établissements LANGU:IA et ALT-EDIC en cours de structuration.
Arène LANGU:IA est portée par L'Atelier Numérique du Ministère de la Culture.
Ce service numérique est sponsorisé par
- Accessibilité : non conforme
- Sécurité : niveau inconnu
- Bonnes pratiques : non suivies
En quelques dates
15 janvier 2024
15 avril 2024