Relevés et limites
Résultats et mesures
Cette page appartient au dossier du projet Génération de langage naturel vérifiable. Elle expose les relevés du 28 août 2026 sur l’état courant du système étudié : parc de faits, couverture linguistique, équivalence factuelle et déterminisme. Chaque figure est accompagnée de la table des mêmes données, et la dernière section nomme ce que ces chiffres ne disent pas.
Mesures du – régénérables.
1. Méthode de mesure
Les chiffres de cette page ne sont pas des estimations, et ne sont pas non plus des records conservés. Ils sont produits par des relevés qui se refont en une commande sur l’état courant du système, et qui écrasent les précédents. La date affichée en tête de page est celle du relevé, pas celle de la rédaction : quand le système évolue, la mesure est refaite et la page change.
Le principe éditorial qui en découle tient en une phrase : la division ne publie que ce qu’elle peut re-mesurer. Un résultat qu’un relevé ne saurait pas reproduire n’a pas sa place ici, même s’il est vrai. C’est aussi la raison pour laquelle aucune comparaison chiffrée avec d’autres systèmes n’apparaît sur ce site : la division mesure ce qu’elle contrôle, et rien d’autre.
Trois familles de relevés se partagent la page. La première décrit ce dont dispose le système, c’est-à-dire son parc de faits structurés. La deuxième mesure ce qu’il produit effectivement, langue par langue et sujet par sujet. La troisième soumet les sorties à des contrôles extérieurs, dont un contrôle négatif destiné à établir que ces contrôles savent échouer.
Trois définitions opérationnelles fixent le vocabulaire des relevés.
Définition 1 (document complet). Pour un sujet et une langue donnés, une sortie rendue en entier, sans section vide ni erreur de production. Le balayage compte une langue comme couvrante si et seulement si ce document existe.
Définition 2 (omission honnête). L’absence comptée de document, ou d’un fait dans un document, lorsque la matière disponible ne permet pas de l’énoncer correctement. Chaque omission est publiée avec la mesure qu’elle accompagne : couverture et omissions se complètent à 1 000 par construction.
Définition 3 (équivalence factuelle). Deux versions d’un même sujet sont équivalentes si toute valeur de données extraite de l’une, au seuil publié, se retrouve sans conflit dans le référentiel du sujet. Dire moins est permis, dire autre chose ne l’est pas.
2. Le parc de faits
Le système travaille sur 3 444 fiches de faits structurés, réparties en 8 domaines. La répartition est très inégale, et cette inégalité explique une part importante des écarts de couverture observés plus loin : un domaine peu doté en fiches, ou doté de fiches peu denses, produit mécaniquement moins de documents complets.
| Domaine | Fiches |
|---|---|
| Figures historiques | 1 070 |
| Villes et lieux | 1 003 |
| Espèces vivantes | 504 |
| Événements | 445 |
| Pays | 197 |
| Substances | 156 |
| Inventions | 65 |
| Objets célestes | 4 |
| Total | 3 444 |
3. Couverture linguistique, sujet par sujet
Le balayage du 28 août 2026 compte, pour un sujet d’essai donné, combien de langues produisent un document complet sur les 1 000 langues traitées. Les langues restantes ne produisent pas un document dégradé : elles se taisent, et ce silence est compté comme une omission honnête.
| Sujet d’essai | Document produit | Omissions honnêtes |
|---|---|---|
| Pays (Kenya) | 935 | 65 |
| Espèce vivante (lion) | 932 | 68 |
| Substance | 924 | 76 |
| Figure historique | 132 | 868 |
Les deux colonnes de chiffres se complètent à 1 000 : chaque langue qui ne produit pas un document est comptée comme une omission honnête, et aucune n’est perdue en route. La longueur des documents varie fortement selon le sujet : la médiane s’établit à 77 mots pour le sujet pays, à 8 mots pour l’espèce et à 7 mots pour la substance. Un exemple français de fiche pays compte 274 mots, pour un niveau de lecture mesuré à grade 12.
Publier la colonne des omissions n’est pas une précaution rhétorique, c’est une condition de lecture des autres colonnes. Un taux de couverture élevé n’a de sens que si l’on sait ce qu’est devenu le reste : sans cette colonne, rien ne distingue un système qui se tait d’un système qui approxime. Compter les silences est ce qui rend les affirmations lisibles, et c’est pourquoi le domaine le moins couvert figure sur la même figure et dans le même tableau que les mieux dotés.
4. Robustesse multi-sujets
Un relevé sur un sujet unique par domaine se prête au choix arrangeant. Le relevé multi-sujets écarte ce risque par construction : cinq sujets sont retenus par domaine, choisis par ordre lexicographique, donc sans intervention discrétionnaire. La valeur portée pour chaque domaine est la moyenne des langues produisant un document sur ces cinq sujets.
| Domaine | Moyenne sur 5 sujets |
|---|---|
| Substances | 924 |
| Espèces vivantes | 908 |
| Pays | 907 |
| Événements | 900 |
| Villes et lieux | 897 |
| Figures historiques | 273 |
Cinq domaines sur six se tiennent dans une bande étroite, ce qui indique que la couverture ne dépend pas du sujet choisi mais de la matière disponible. Le domaine des figures historiques confirme au contraire sa dispersion : selon la densité de la fiche, le nombre de langues produisant un document va de 109 à 902. La limite est donc la donnée disponible, et non le procédé de production, ce que la division dit plutôt que d’écarter le domaine du relevé.
Le même relevé multi-sujets mesure la longueur des documents produits. La figure 4 porte les trente médianes, une par sujet : la position d’une grappe dit la richesse du domaine, son étalement dit la variance à l’intérieur du domaine.
La grappe des substances est un point répété : 7 mots de médiane sur chacun des cinq sujets, la signature d’un domaine dont la matière disponible est uniforme d’un sujet à l’autre. À l’opposé, le domaine des pays s’étale de 19 à 68 mots de médiane selon le sujet. Les figures historiques combinent les deux lectures : la couverture y varie de 109 à 902 langues selon la fiche, mais la longueur médiane y reste resserrée, de 11 à 13 mots – ce qui se dit varie peu, c’est le nombre de langues capables de le dire qui varie.
5. Équivalence factuelle et déterminisme
Les deux relevés qui suivent portent sur les sorties elles-mêmes. Le premier vérifie l’équivalence factuelle entre les langues, au sens de la définition 3 : dire moins est permis, dire autre chose ne l’est pas. Les textes produits ont été relus par un vérificateur indépendant du système, qui extrait les valeurs numériques de données et vérifie que chacune se retrouve, sans conflit, dans le référentiel du sujet, sur un seuil publié : les valeurs supérieures ou égales à 10 000, ce qui exclut les années portées par des noms propres. Sur 935 langues relues, 415 valeurs ont été comparées, et aucun conflit n’a été relevé.
Un contrôle qui ne trouve rien n’a de valeur que s’il est capable de trouver quelque chose. Un contrôle négatif accompagne donc le relevé : une valeur corrompue artificiellement injectée dans une sortie a bien été détectée par le vérificateur. C’est cette capacité à échouer qui rend le résultat précédent lisible comme un résultat, et non comme un silence d’instrument.
Le second relevé porte sur le déterminisme. 147 générations ont été répétées dans deux processus séparés, et les 147 empreintes SHA-256 obtenues sont identiques : aucun écart. La reproductibilité annoncée n’est donc pas une propriété interne postulée, mais une égalité constatée de l’extérieur, sur des empreintes que n’importe quel tiers sait calculer.
Schéma 1. Déterminisme inter-processus, relevé du 28 août 2026 : les mêmes 147 générations, rejouées dans deux processus séparés, rendent des empreintes identiques.
| Relevé | Valeur |
|---|---|
| Langues relues par le vérificateur indépendant | 935 |
| Valeurs numériques comparées | 415 |
| Conflits relevés | 0 |
| Générations répétées dans deux processus séparés | 147 |
| Empreintes SHA-256 identiques | 147 |
| Écarts relevés | 0 |
Propriété P4
Équivalence factuelle entre langues
Les versions d’un même sujet dans des langues différentes portent exactement les mêmes faits : dire moins est permis, dire autre chose ne l’est pas.
Statut : vérifiée de l’extérieur sur le relevé du 28 août 2026, contrôle négatif inclus.
6. La campagne élargie
Les relevés précédents portaient sur un sujet d’essai. La même vérification a ensuite été rejouée à l’échelle : 30 sujets, choisis par ordre lexicographique à raison des 5 premiers de chacun des 6 domaines mesurés, relus dans les 1 000 langues. 1 646 valeurs numériques ont été comparées de l’extérieur, et aucun conflit n’a été relevé. Les contrôles négatifs ont été rejoués sujet par sujet : sur les 8 sujets dont le référentiel porte des valeurs au-dessus du seuil, 8 corruptions injectées, 8 détections.
Schéma 2. Le circuit de la campagne élargie, 28 août 2026. Le juge est externe : il ne lit que les sorties finies. La branche basse est le contrôle négatif, qui établit que la comparaison sait échouer.
La calibration du vérificateur a été mesurée séparément, dans les deux sens. 105 corruptions artificielles ont été injectées dans des sorties réelles, à raison d’une valeur altérée par texte, sur 15 langues et 8 sujets : 105 détections sur 105. À l’inverse, 113 textes sains ont été relus sans qu’aucune fausse alerte ne soit levée. La sensibilité et la spécificité de l’instrument sont donc mesurées, pas supposées.
Schéma 3. Calibration du vérificateur, campagne du 28 août 2026. Les deux cases d’erreur sont vides, et elles sont publiées : un instrument se juge à ses deux colonnes.
Deux relevés de couverture complètent la campagne : les 197 sujets du domaine des pays produisent un document dans chacune des 4 langues témoins (français, anglais, swahili, arabe), et 25 systèmes d’écriture distincts ont été détectés dans les sorties elles-mêmes.
| Relevé | Valeur |
|---|---|
| Sujets relus (5 par domaine, ordre lexicographique) | 30 |
| Valeurs numériques comparées entre langues | 1 646 |
| Conflits relevés | 0 |
| Corruptions artificielles détectées | 105 / 105 |
| Fausses alertes sur textes sains | 0 / 113 |
| Sujets du domaine pays servis dans les 4 langues témoins | 197 / 197 |
| Systèmes d’écriture détectés dans les sorties | 25 |
7. Le détail des systèmes d’écriture
L’écriture dominante de chaque document produit lors de la campagne a été détectée de l’extérieur, par plages Unicode, sans regarder le procédé qui l’a produite. 25 systèmes d’écriture distincts en ressortent. L’alphabet latin domine, et 21 des 25 systèmes ne sont portés que par une ou deux langues chacun : c’est la longue traîne typographique que le traitement égal des langues doit servir correctement, jusqu’au tibétain ou à l’oriya.
| Système d’écriture | Langues |
|---|---|
| Latin | 895 |
| Cyrillique | 9 |
| Arabe | 6 |
| Devanagari | 3 |
| Éthiopien | 2 |
| Bengali | 2 |
| Hébreu | 2 |
| Sinogrammes | 2 |
| Grec | 1 |
| Arménien | 1 |
| Géorgien | 1 |
| Hiragana et katakana | 1 |
| Hangeul | 1 |
| Thaï | 1 |
| Lao | 1 |
| Birman | 1 |
| Tibétain | 1 |
| Tamoul | 1 |
| Télougou | 1 |
| Kannada | 1 |
| Malayalam | 1 |
| Oriya | 1 |
| Gurmukhi | 1 |
| Gujarati | 1 |
| Cinghalais | 1 |
8. Limites
Le domaine des figures historiques est le moins couvert de tous, et l’écart n’est pas marginal : 132 langues sur 1 000 pour le sujet d’essai, 273 en moyenne sur cinq sujets, avec une dispersion de 109 à 902 selon la densité de la fiche. Ce domaine est aussi celui qui compte le plus de fiches, ce qui écarte l’explication par la rareté des sujets et renvoie à la densité de la matière disponible dans chaque langue.
La longueur des documents est faible hors du domaine des pays. Les médianes de 8 et 7 mots relevées pour l’espèce et la substance décrivent des documents brefs, utilisables comme fiches de faits mais pas encore comme contenus pédagogiques complets. La division préfère publier ces médianes que les taire : elles disent où le travail reste à faire.
Enfin, tous les chiffres de cette page sont mesurés sur l’état courant du système et régénérés à chaque évolution. Ils ne décrivent pas un système figé, et un relevé ultérieur pourra les déplacer dans un sens comme dans l’autre. La date en tête de page est donc une donnée du résultat, pas une mention d’archive.
9. Menaces à la validité
La portée de ces relevés appelle cinq réserves, que la division énonce elle-même plutôt que de les laisser découvrir.
Le vérificateur d’équivalence ne compare que les valeurs numériques supérieures ou égales à 10 000, seuil publié qui exclut les années portées par des noms propres. 22 des 30 sujets de la campagne élargie ne portent aucune valeur au-dessus de ce seuil : pour ces sujets, l’équivalence relève des contrôles mécaniques internes, pas de ce juge externe.
L’équivalence porte sur les valeurs de données au seuil publié, non sur la précision d’affichage. Une version peut arrondir une valeur en l’annonçant – écrire « environ 1 208 000 » là où une autre version écrit 1 208 333 –, et cela se voit dans les démonstrations : le vérificateur compare chaque valeur extraite au référentiel du sujet, qui porte les deux formes, et l’arrondi annoncé relève du dire moins, jamais du dire autre chose.
Les sujets d’essai restent peu nombreux : un par domaine pour le balayage, cinq pour la robustesse. L’ordre lexicographique écarte le choix arrangeant ; il n’établit pas, à lui seul, la représentativité des sujets retenus.
Le déterminisme est constaté entre deux processus séparés d’une même machine ; la reproductibilité entre machines distinctes n’a pas encore fait l’objet d’un relevé publié.
Enfin, la couverture compte des documents produits, jamais leur richesse : les longueurs médianes publiées avec le balayage bornent cette lecture, et des médianes de 7 et 8 mots hors du domaine des pays décrivent des fiches de faits, non des leçons.
Citer cette page
Les mesures de cette page sont datées et régénérables : une citation porte donc la date de mesure, jamais une date de consultation seule.
ODERSA Research (division de recherche de l’ODERSA). « Résultats et mesures », mesures du 28 août 2026. https://research.odersa.org/resultats
Au format BibTeX :
@misc{odersa_research_mesures_2026,
author = {{ODERSA Research}},
title = {R\'esultats et mesures},
organization = {ODERSA},
year = {2026},
howpublished = {\url{https://research.odersa.org/resultats}},
note = {Mesures du 28 ao\^ut 2026, r\'eg\'en\'erables}
}À lire ensuite
- Démarche de validation – Comment ces chiffres savent échouer : contrôles négatifs, registre des propriétés, références indépendantes.
- Démonstrations – Les sorties que ces relevés mesurent, telles quelles, dans douze langues.
- Données – Les mêmes indicateurs, lisibles par machine : relisez-les sans nous croire.