Formation · Piloter un projet IA · Jour 3 · Fil rouge

Livrable J3.1 — Fiche de recette du modèle

À quelles conditions, mesurées comment, et signées par qui, direz-vous oui à votre modèle ?
Mode d'emploi. Remplie une première fois à 11h45 (brouillon, par intuition guidée — gardez vos livrables J2 sous les yeux), puis corrigée à 13h30 après l'apport méthodologique, à l'aide de la checklist en bas de fiche. La version corrigée alimente directement la zone C de votre tableau de bord (Livrable J3.2). Ce document est votre PV de recette en puissance : c'est lui que vous signerez.
0Le cas, en une ligneréf. canevas J1 + cadrage J2
Le cas (J1) et l'objectif chiffré du cadrage (J2)
Router automatiquement les tickets support vers la bonne file → réduire de 30 % le délai moyen de première prise en charge d'ici fin T2.
1Périmètre de la recettece qu'on valide — et ce qu'on ne valide pas
La recette valide…
le routage des tickets entrants vers les 6 files de niveau 1, en français.
Hors périmètre (assumé)
les tickets en anglais (< 4 % du flux) et la rédaction de réponses — routage uniquement.
2Le jeu de recetteréel · jamais vu par le modèle · représentatif · gelé
Source des données
tickets réels des 12 derniers mois, toutes files, y compris pics saisonniers de janvier.
Volume
1 000 tickets, répartition fidèle aux volumes réels par file.
Qui annote — et temps budgété
2 référents support N2 · ≈ 3 jours·homme validés avec la responsable du plateau.
Date de gel
gel au 15/09 — toute modification ultérieure tracée et justifiée par écrit.
3Seuils d'acceptation chiffrésfixés au cadrage — jamais le jour de la recette
MétriqueSeuilOrigine du seuilHérité de quel KPI J2 ?
précision globale ≥ 90 % (référence : 88 % de routage correct humain mesuré sur mars) · rappel ≥ 95 % sur la file « incidents critiques » · taux de tickets non classés ≤ 5 %.
4Recette métier — la revue d'erreurs réelles« les 8 % d'erreur, ça donne quoi, concrètement ? »
Échantillon d'erreurs à examiner
100 erreurs tirées au hasard du jeu de recette, toutes files confondues.
Qui les examine
les 2 référents N2 + 1 manager de plateau, en séance commune de 2 h.
Grille de gravité — classez chaque erreur examinée, puis fixez la règle de décision

Cosmétique

Sans impact réel — corrigée au fil de l'eau sans coût notable.

Gênante

Coût de rattrapage faible et processus de rattrapage existant.

Grave

Coût métier réel — euros, client, délai — rattrapage tardif ou coûteux.

Inacceptable

Conformité, sécurité, dommage irréversible — une seule suffit à bloquer.

Règle de décision de la recette métier
0 erreur inacceptable tolérée · erreurs graves ≤ 10 % des erreurs examinées · au-delà : refus ou réserves.
5Robustesse & équité — la moyenne mentAI Act art. 10 · 15 — documenté et exigible si haut risque
Sous-population / segment à vérifierPourquoi elle (volume, risque, équité)Seuil minimal toléré sur ce segment
tickets « réclamations » (12 % du flux mais risque client maximal) : précision ≥ 92 % exigée même si la moyenne globale tient.
Cas limites identifiés (à inclure dans le jeu de recette)
tickets multi-sujets, pièces jointes sans texte, messages en langage très familier.
6Typologie des erreurscroisée avec votre matrice de risques J2

⚠ L'erreur grave de mon cas

L'erreur
Son coût métier (euros, client, conformité, délai)
un ticket « incident critique » routé en file standard → SLA contractuel dépassé, pénalités.

✓ L'erreur tolérable de mon cas

L'erreur
Son rattrapage (par qui, en combien de temps)
un ticket standard mal routé → re-routé par l'agent de la file en < 2 h, coût marginal.
7Trois signatures, trois responsabilitésune signature métier absente n'est pas remplaçable
QuiValide quoiNomDate
Équipe technique
data scientist + ML engineer
Recette technique : métriques atteintes sur le jeu gelé, robustesse, intégration — rapport de tests
Experts métier
Recette métier : gravité des erreurs acceptable pour l'usage — revue d'échantillon
Sponsor — vous
Go final de mise en production — sur la base du PV complet, réserves lues
8Verdict« validé avec réserves » est le verdict le plus fréquent
ValidéMise en productionseuils atteints, recette métier conforme
Validé avec réservesProduction conditionnelleconditions + délai de levée obligatoires
RefuséRetour en développementun refus documenté n'est pas un échec de sponsor
Réserves — conditions précises et délai de levée
✓Checklist d'auto-contrôle (S6.4)0 / 6
  • Mon jeu de recette est défini — source, annotation, date de gel.Section 2 complète, temps d'expert validé avec leur manager.
  • Mes seuils existaient avant — et je sais d'où ils sortent.Section 3 : chaque seuil a une origine — le seuil écrit d'avance vous protège de vous-même.
  • Une revue d'erreurs réelles par le métier est prévue.Section 4 — l'oubliée des brouillons : deux modèles à 92 % peuvent être l'un recevable, l'autre dangereux.
  • Au moins une sous-population sera vérifiée.Section 5 — la moyenne ment.
  • Mes trois signatures sont nommées.Section 7 — des noms de personnes, pas des services.
  • Le cas « validé avec réserves » est prévu — conditions et délai.Section 8 — le verdict le plus fréquent dans la vraie vie.
Pont vers le Livrable J3.2 — Tableau de bord La recette n'est pas un examen final : c'est un point de départ. Vos seuils de la section 3 deviennent les seuils d'alerte de la zone C de votre tableau de bord, et votre erreur grave (section 6) dicte sa règle de réaction prioritaire (zone D).
Cadres de référence Règlement (UE) 2024/1689 (AI Act) — art. 10 (gouvernance des données), art. 15 (exactitude, robustesse), art. 11 + annexe IV (documentation technique, exigible pour les systèmes à haut risque) · ISO/IEC 42001:2023 (management de l'IA) · ISO/IEC 23894:2023 (management du risque IA) · NIST AI RMF 1.0 (2023) · principe du jeu d'évaluation séparé : CRISP-DM, phase Évaluation (Chapman et al., 2000). Ce document n'est pas enregistré automatiquement : imprimez-le ou exportez-le en PDF pour le conserver.