Le contexte
Un grand groupe bancaire a déployé un assistant IA interne, qui remplace des licences externes coûteuses et traite des centaines de milliers de requêtes. Pour le piloter, la direction doit savoir si les réponses sont bonnes, combien coûte chaque requête et quels agents sont réellement utilisés. Les données d'usage sont pourtant éclatées entre l'interface et le serveur.
Notre approche
Notre ingénieur LLMOps unifie la télémétrie et les traces LLM dans un pipeline analytics unique, avec OpenTelemetry. Il construit les tableaux de bord de qualité des réponses, de coût par requête et par agent, de latence et d'adoption par métier. Il met en place des alertes sur les dérives de qualité et de coût.
Le résultat
La direction arbitre modèles et investissements sur des chiffres fiables, agent par agent. Les dérives sont détectées avant d'affecter les utilisateurs.