Axes de recherche
Programme de recherche
Cette page appartient au dossier du projet actif de la division, la génération de langage naturel vérifiable. Son programme se tient en quatre axes : chacun pose une question ouverte et vise des propriétés que le système étudié doit rendre vérifiables de l’extérieur. Les résultats formels sont en préparation de publication : cette page énonce le programme, pas ses preuves.
Mesures du – régénérables.
A1. Génération vérifiable
La question ouverte de cet axe s’énonce simplement : peut-on garantir, et non seulement rendre probable, qu’un document produit ne dise rien que ses faits d’entrée ne disent pas ? Le mot qui porte tout le poids est « garantir ». Une garantie ne se mesure pas en fréquence de succès : elle se démontre, ou elle n’existe pas.
La littérature récente éclaire l’enjeu. Elle établit que des générateurs probabilistes calibrés ne peuvent pas garantir l’absence d’hallucination sur les faits rares[1][2][3], même si l’hallucination peut être rendue statistiquement négligeable dans certains cadres[4]. Le programme n’oppose pas ces travaux : il explore l’autre branche de l’alternative qu’ils dessinent.
Cette autre branche a une tradition : la génération dite data-to-text[5][6], qui produit un texte depuis des données structurées par des procédés longtemps préférés en production précisément pour le contrôle qu’ils donnent sur la sortie. Les campagnes de référence du domaine, comme WebNLG[7], évaluent la fidélité aux données d’entrée par jugement humain et par métriques, c’est-à-dire en fréquence ; la marche que cet axe étudie est de faire de cette fidélité une propriété vérifiée mécaniquement sur chaque document produit, contrôles négatifs à l’appui.
Cette autre branche est celle des systèmes qui garantissent la conservation des faits par construction, avec vérification mécanique, sur un domaine factuel délimité. Trois propriétés y sont visées ensemble. Le déterminisme d’abord : à entrée identique, des sorties identiques à l’octet près, deux exécutions rendant les mêmes textes. L’absence de modèle de langage et d’accès réseau au moment de la génération ensuite : les documents sont produits par un procédé entièrement déterministe à partir de faits structurés préalablement constitués et figés. La conservation des faits enfin : chaque document est re-vérifié par machine contre l’ensemble de faits qui l’a produit, et cette vérification sait échouer, ce que des contrôles négatifs établissent.
L’axe assume la contrepartie de ce choix. Le domaine factuel est délimité, les textes produits sont plus courts et plus secs, et rien de ce qui sort du périmètre des faits d’entrée ne peut être dit. Souvent juste n’est pas garanti : entre les deux régimes, la différence est de nature, pas de degré.
Propriétés visées P1-P3
Déterminisme, absence de modèle à la génération, conservation des faits
À entrée identique, le système rend des sorties identiques à l’octet près, sans modèle de langage ni accès réseau au moment de la génération ; chaque document produit est ensuite re-vérifié par machine contre l’ensemble de faits qui l’a produit.
Statut : propriétés visées par l’axe.
A2. Équité linguistique à grande échelle
La question ouverte de cet axe porte sur l’échelle : que devient une garantie de conservation des faits lorsqu’elle doit tenir dans 1 000 langues à la fois, et non dans les quelques langues où la matière abonde ? Le système étudié traite 1 000 langues, et il les traite également : une langue est un traitement, jamais un rang. Tenir cette égalité se vérifie par le calcul : les campagnes de mesure rejouent la génération et la vérification dans chacune des 1 000 langues, et se refont sur l’état courant à chaque évolution du système.
L’égalité de traitement n’est pas une égalité de richesse, et le programme refuse de faire passer l’une pour l’autre. Deux propriétés encadrent cette honnêteté. L’équivalence factuelle d’abord : les versions d’un même sujet dans des langues différentes sont vérifiées porter exactement les mêmes faits, dire moins étant permis et dire autre chose ne l’étant pas. L’omission honnête ensuite : quand une langue ou une fiche ne permet pas d’énoncer un fait correctement, le système se tait sur ce fait plutôt que de l’approximer, et les omissions sont comptées puis publiées.
La limite se nomme donc au lieu de se taire. Sur le balayage de mesure, le domaine des figures historiques est le moins couvert : 132 langues sur 1 000 y produisent un document, quand le sujet pays du même balayage en réunit 935. Ce chiffre est publié au même titre que les autres, parce qu’un programme qui ne publierait que ses meilleurs domaines ne mesurerait plus rien. Le détail du balayage figure sur la page Résultats et mesures.
Propriétés visées P4-P5
Équivalence factuelle entre langues et omission honnête
Les versions d’un même sujet dans des langues différentes sont vérifiées porter exactement les mêmes faits ; quand une langue ou une fiche ne permet pas d’énoncer un fait correctement, le système se tait sur ce fait plutôt que de l’approximer.
Statut : propriétés visées par l’axe.
A3. Lisibilité mesurée et adaptation à l’âge
Un contenu exact qu’un élève ne peut pas lire ne sert pas l’éducation. Cet axe pose donc une question de mesure autant que de rédaction : comment adapter un document à un lecteur plus jeune sans toucher à ce qu’il affirme ? La propriété visée est double. Le système mesure la difficulté de lecture de ses sorties, et il sait produire une variante adaptée aux jeunes lecteurs à faits constants.
« À faits constants » est ici une contrainte forte, et non une intention. Les chiffres d’une version pour jeunes lecteurs restent ceux de la version d’origine : ils ne sont pas arrondis, pas simplifiés, pas remplacés par des ordres de grandeur. Ce qui varie est la construction des phrases et le choix des mots, jamais la valeur énoncée. La lisibilité devient ainsi une mesure de plus, soumise au même régime de vérification que le reste.
Une fiche pays produite en français sert d’exemple de référence dans les relevés : 274 mots, pour un niveau de lecture mesuré à grade 12. Le programme cherche à faire varier ce niveau de manière contrôlée et mesurable, en gardant intacte la vérification de conservation des faits.
Propriété visée P6
Niveaux de lecture mesurés
Le système mesure la difficulté de lecture de ses sorties et sait produire une variante adaptée aux jeunes lecteurs, à faits constants.
Statut : propriété visée par l’axe.
A4. Tutorat borné et vérifiable
Le dernier axe déplace la question du document vers l’échange. Un assistant pédagogique est utile s’il répond ; il est dangereux s’il répond à tout. La question ouverte est celle de la borne : comment construire un composant de questions-réponses dont le périmètre soit su, dit, et vérifiable, plutôt que deviné par l’élève au fil de ses erreurs ?
La propriété visée est celle d’un tuteur borné. Le composant ne répond que depuis la fiche du sujet ; hors de son périmètre, il répond « je ne sais pas encore » au lieu de produire une réponse plausible. Cet aveu n’est pas un défaut de couverture toléré : c’est le comportement attendu, et il est traité comme tel dans les contrôles.
La correction d’exercices suit le même régime. Le composant rend un verdict accompagné de sa justification, de sorte qu’un enseignant puisse contrôler la correction elle-même et non seulement la subir. Là encore, ce qui est recherché n’est pas la fluidité de l’échange, mais la possibilité pour un tiers de vérifier ce qui a été dit.
Propriété visée P7
Un tuteur borné
Le composant de questions-réponses ne répond que depuis la fiche du sujet et répond « je ne sais pas encore » hors de son périmètre ; la correction d’exercices rend un verdict accompagné de sa justification.
Statut : propriété visée par l’axe.
Publications
En préparation
Les résultats formels de ces quatre axes paraîtront accompagnés de leur matériel de vérification. La page Publications les recensera à mesure de leur parution ; la manière de citer ce site y est décrite.
Références
- A. T. Kalai, S. S. Vempala, « Calibrated Language Models Must Hallucinate », STOC 2024 (arXiv:2311.14648). retour
- A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang, « Why Language Models Hallucinate », 2025. retour
- Z. Xu, S. Jain, M. Kankanhalli, « Hallucination is Inevitable: An Innate Limitation of Large Language Models », 2024 (arXiv:2401.11817). retour
- Suzuki et al., 2025 (arXiv:2502.12187) – l’hallucination peut être rendue statistiquement négligeable dans certains cadres. retour
- E. Reiter, R. Dale, Building Natural Language Generation Systems, Cambridge University Press, 2000. retour
- A. Gatt, E. Krahmer, « Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation », Journal of Artificial Intelligence Research 61, 2018. retour
- C. Gardent, A. Shimorina, S. Narayan, L. Perez-Beltrachini, « The WebNLG Challenge: Generating Text from RDF Data », INLG 2017. retour
À lire ensuite
- Résultats et mesures – Les questions de ce programme ont des réponses datées : les relevés du 28 août, figures et limites comprises.
- Démarche de validation – La démarche qui borne ce que le programme a le droit d’affirmer.
- Le dossier du projet – La fiche, les chiffres et toutes les portes du projet actif.