Monitoring du Pipeline¶

Vue d'ensemble¶

Le monitoring du Pipeline regroupe l'ensemble des mécanismes permettant d'observer l'exécution des synchronisations et d'évaluer la qualité des traitements réalisés par la Platform.

Son objectif n'est pas uniquement de détecter des erreurs techniques.

Il permet également de mesurer la qualité métier des données produites.

Le monitoring constitue ainsi l'un des principaux outils d'industrialisation de CMonChoix.

Objectifs¶

Le monitoring poursuit plusieurs objectifs.

Il permet notamment de :

suivre l'exécution des synchronisations ;
mesurer la qualité des données produites ;
détecter les anomalies ;
identifier les régressions ;
valider les évolutions du Pipeline.

Chaque évolution importante doit être accompagnée d'une analyse des indicateurs produits.

Position dans le Pipeline¶

Synchronisation
       │
       ▼
Pipeline
       │
       ▼
Monitoring
       │
       ▼
Validation

Le monitoring intervient tout au long de l'exécution.

Il ne constitue pas une étape supplémentaire du Pipeline, mais un mécanisme d'observation permanent.

Deux niveaux de surveillance¶

Le monitoring distingue deux familles d'indicateurs.

Indicateurs techniques¶

Ils permettent de vérifier le bon déroulement des traitements.

Par exemple :

durée d'exécution ;
nombre de produits importés ;
nombre de produits normalisés ;
erreurs d'import ;
erreurs d'exécution.

Ces indicateurs renseignent sur la santé du Pipeline.

Indicateurs métier¶

Ils permettent d'évaluer la qualité des résultats.

Par exemple :

taux de résolution ;
produits restant inconnus ;
projections générées ;
conflits d'identité ;
ambiguïtés persistantes.

Ces indicateurs sont utilisés pendant les phases d'industrialisation.

KPI¶

Les KPI constituent le principal outil de validation de la Platform.

Ils permettent notamment de suivre :

le nombre d'offres traitées ;
les verticales reconnues ;
les identités construites ;
les produits restant à analyser ;
les régressions éventuelles.

Une évolution n'est considérée comme validée que si les KPI restent cohérents.

Détection des régressions¶

Après chaque évolution importante, les KPI sont comparés aux résultats précédents.

Une variation significative peut révéler :

une erreur de normalisation ;
une régression du Resolver ;
une modification involontaire d'une règle métier ;
une dégradation de la qualité des données.

Le monitoring permet ainsi de détecter rapidement les effets secondaires.

Relation avec les Read Services¶

Les Read Services exploitent largement les informations produites par le monitoring.

Ils permettent notamment de :

comparer plusieurs exécutions ;
analyser les différences ;
préparer les rapports de validation ;
mesurer l'efficacité d'un Virtual Patch.

Le monitoring fournit les mesures.

Les Read Services les interprètent.

Traçabilité¶

Chaque synchronisation doit pouvoir être reliée à :

un marchand ;
un flux ;
une date d'exécution ;
un ensemble de KPI ;
un état final.

Cette traçabilité facilite les investigations lorsqu'une anomalie apparaît plusieurs jours après une synchronisation.

Invariants¶

Le monitoring respecte plusieurs principes.

Observation uniquement¶

Le monitoring ne modifie jamais les données.

Il se contente d'observer le comportement de la Platform.

Mesures reproductibles¶

Les indicateurs doivent être calculés de manière identique à chaque exécution.

Ils doivent permettre la comparaison entre plusieurs synchronisations.

Vision globale¶

Le monitoring ne se limite pas aux erreurs techniques.

Il mesure également la qualité fonctionnelle du Pipeline.

Exemple¶

Après l'intégration d'une nouvelle règle de normalisation, le monitoring peut montrer :

une augmentation du taux de résolution ;
une diminution des produits inconnus ;
aucun impact sur les performances.

Ces résultats constituent une validation objective de l'évolution.

Évolution¶

À mesure que la Platform évoluera, de nouveaux indicateurs pourront être introduits.

Toutefois, les principes resteront identiques :

observation permanente ;
comparaison des exécutions ;
validation par les KPI ;
amélioration continue.

Le monitoring constitue ainsi l'un des principaux outils de pilotage de la qualité de CMonChoix.