Évaluation
Un modèle doit mériter sa mise en production
La plupart des outils d'IA vous demandent de faire confiance à une démo. Chez Haryts, chaque nouvelle version du modèle doit réussir un seuil de mise en production — la sécurité d'abord, puis aucune régression — avant de vous parvenir. Nous publierons les résultats mesurés lorsque la prochaine version du modèle aura franchi ce seuil.
Comment nous mesurons
Un seuil de mise en production, et les deux outils derrière lui
Le seuil de mise en production
Une nouvelle version du modèle n'atteint la production qu'après avoir réussi chaque vérification, dans l'ordre : la sécurité d'abord — aucun échec confirmé aux tests de manipulation et de questions entre entreprises ; aucune régression sur les catégories protégées ; des cibles fixées à l'avance, atteintes selon un test statistique ; puis des vérifications opérationnelles.
Des versions candidates qui ont échoué au seuil ont été écartées ; la version actuelle reste en production jusqu'à ce qu'une remplaçante le réussisse.
HarytsBench
Un banc d'essai interne fondé sur des corpus de référence fixes. Chaque version candidate y est soumise, et ses résultats alimentent le seuil de mise en production.
Banc d'essai interne ; un banc d'essai public est sur la feuille de route.
Haryts Eval
Un outil d'évaluation de la qualité des réponses et de la récupération. Dans un projet pilote, il mesure la qualité sur vos propres documents — vous jugez donc Haryts sur votre savoir, et non sur un score générique.
Exécuté sur vos documents durant un projet pilote.
Pourquoi un seuil plutôt qu'un chiffre vedette
Un modèle qui ne l'a pas mérité n'est pas livré
Un score moyen peut masquer une régression. Les cibles sont donc fixées avant les tests, chaque version candidate est mesurée par rapport à elles, et un modèle qui les manque est écarté — même s'il semble meilleur en moyenne.
- 1Les cibles sont fixées avant qu'une version candidate soit testée.
- 2La sécurité d'abord : les tentatives de manipulation et les questions entre entreprises ne doivent produire aucun échec confirmé.
- 3Les catégories protégées sont comparées avec le modèle en production : aucune régression n'est permise.
- 4Les cibles sont vérifiées par un test statistique, puis par des vérifications opérationnelles — seulement alors une décision de mise en production est prise.
FAQ
Questions sur l'évaluation
Comment Haryts mesure-t-il la qualité ?
Par un seuil de mise en production que chaque nouvelle version du modèle doit réussir — la sécurité d'abord, aucune régression sur les catégories protégées, des cibles fixées à l'avance atteintes selon un test statistique, et des vérifications opérationnelles — appuyé par deux outils internes : HarytsBench, un banc d'essai fondé sur des corpus de référence fixes, et Haryts Eval, qui mesure la qualité des réponses et de la récupération.
Pourquoi ne publiez-vous pas de score ?
Les chiffres que nous publiions décrivaient un modèle qui n'est plus en production. Nous publierons des résultats mesurés — avec leurs mises en garde — lorsque la prochaine version du modèle aura franchi le seuil de mise en production.
Pouvons-nous mesurer Haryts sur nos propres documents ?
Oui — c'est la raison d'être d'un projet pilote. Haryts Eval mesure la qualité des réponses et de la récupération sur vos documents, selon des critères de succès convenus avec vous avant de commencer.
Mesurez Haryts sur vos propres documents
Un projet pilote se conclut par un rapport écrit : résultats de validation, mesure de référence et vos lacunes de connaissances.