Le contexte
Une plateforme de santé numérique déploie un assistant IA qui prépare les consultations : synthèse du dossier, reformulation des motifs, génération des comptes rendus. Dans un contexte médical, une erreur factuelle est inacceptable. Chaque nouvelle version de modèle ou de prompt doit pourtant être validée rapidement.
Notre approche
Nos deux AI Evaluation Engineers construisent le socle d'évaluation : jeux de référence, LLM-as-a-judge calibré sur des évaluations humaines, métriques de factualité. Ils mettent en place les tests de non-régression et des campagnes de red teaming. Les évaluations sont intégrées à la CI, rejouées à chaque changement, et les traces de production enrichissent les jeux de test.
Le résultat
Une montée de version se valide en quelques heures, avec des preuves chiffrées. Les régressions sont détectées avant d'atteindre les praticiens.
