Une intégration de données modernisée pour un grand fournisseur de services publics

Six mois de retard rattrapés en un mois

Mise en contexte

Consortech a récemment fait équipe avec un fournisseur de services publics en vue d’améliorer son processus d’intégration de données.

Ce client gérait un portfolio complexe de250 ensembles de données provenant de divers partenaires externes, chacun privilégiant un format et une structure distincts pour l’envoi de mises à jour régulières. Il fallait donc créer des scripts personnalisés pour chaque ensemble de données. Cette tâche chronophage venait avec son lot de défis de maintenance en raison des changements fréquents apportés aux structures des données d’entrée.

Le client a engagé Consortech pour mettre au point une solution d’automatisation générique qui réduirait considérablement son nombre de scripts FME et Python. Le but était de rendre le processus d’intégration de données plus efficace, tout en réduisant les retards et en optimisant l’intégration elle-même. De plus, le nouveau système devait s’adapter à divers formats de données avec un minimum d’intervention humaine pour maximiser la productivité côté gestion de données.

Défis rencontrés

L’écosystème de données du client posait plusieurs problèmes, car le format et la structure des sources de données étaient pour le moins disparates. Il fallait donc élaborer une solution flexible pouvant s’adapter automatiquement à des formats variables, sans nécessiter des scripts personnalisés supplémentaires.

Pour compliquer le tout, les partenaires externes du client mettaient souvent à jour leurs formats de données, ce qui obligeait ce dernier à réécrire des scripts: une tâche qui ralentit considérablement les workflows.

Solution fournie

Consortech a mis au point un script générique configurable pour la validation, la conversion et le chargement de données aux structures et aux formats multiples. Cette solution a remplacé 80% des scripts FME existants et a été configurée de sorte à convertir presque tout ensemble de données au format exigé par la base de données ArcGIS du client.

Nous avons aussi développé une fonctionnalité de traitement des exceptions pour rendre le système encore plus flexible. Celle-ci permet d’intégrer des scripts de traitement précis au besoin afin que le système puisse s’adapter aux situations uniques, sans causer de lourdeur au niveau du script de base.

Gains réalisés

La solution automatisée de Consortech s’est avérée gagnante pour le client. Rien qu’un mois après le déploiement, ce dernier a pu rattraper un retard de six mois. Ce résultat incroyable témoigne d’une amélioration considérable de l’efficacité des processus.

Les délais de traitement ont aussi diminué de beaucoup. Des tâches qui prenaient auparavant plusieurs jours se font désormais en deux à trois heures seulement, même pour les plus grands ensembles de données. Cette réduction spectaculaire contribue non seulement à une meilleure accessibilité des données, mais aussi à un fonctionnement général plus fluide.

Enfin, la solution a permis de centraliser la gestion des conditions complexes dans le fichier Excel source. Voilà qui élimine le besoin de fréquemment mettre à jour les scripts! Un script de base a également été fourni pour permettre des modifications ciblées dans les ensembles de données nécessitant un plus haut degré de personnalisation.