La surveillance de FME Server comme stratégie de gouvernance

Une bonne stratégie de gouvernance devrait inclure la surveillance de ses processus de traitement ainsi que ceux couvrant la validation et la dissémination des données. Pour plusieurs organisations ayant un important volume de données transitant à travers leur environnement FME Server, il devient alors impératif d’implanter une stratégie de surveillance. Cette affirmation est encore plus pertinente si les traitements touchent à des processus et des données critiques.

Faites connaissance avec la fonctionnalité «Dashboards»

Vous considérez déployer une stratégie de surveillance de votre environnement FME Server? Bonne nouvelle, Safe Software offre une fonctionnalité toute prévue à cet effet. L’outil Dashboards de FME Server permet de valider la santé générale de votre plateforme à tout moment.

Par défaut, il est préconfiguré afin de produire cinq différents rapports informant sur :

1. Le nombre total de tâches (jobs) exécutées par jour;
2. Le top 20 des Workspaces ayants des échecs signalés au cours du dernier mois;
3. Le temps total (en secondes) d’exécution des tâches par les engines FME Server;
4. La durée moyenne (en secondes) des Workspaces dans la file d’attente (Queue);
5. Le top 20 des Workspaces les plus longs à s’exécuter au cours du dernier mois.

Graphique du temps total par jour (en secondes) d’exécution des tâches par les engines FME Server

Un outil totalement paramétrable

Les cinq rapports offerts par défauts ne représentent que la partie émergée de l’iceberg. Pour créer les éléments de surveillance qui répondront à vos besoins, votre créativité sera probablement votre seul frein! En effet, il n’y a pas de limites sur le nombre de rapports, sur les données pouvant être utilisées, sur la fréquence ainsi que sur le mode de représentation. Cela inclut la possibilité de changer les métriques des rapports, d’ajouter de l’information tabulaire et même de l’information cartographique.

La génération de ces rapports s’effectue sur un mécanisme qui enchaine les actions suivantes :

1. Un Workspace (inclus par défaut) récupère l’information statistique recherchée en format CSV auprès de l’API de FME Server.
2. Ce fichier CSV qui contient les informations statistiques (telles que la date et l’heure d’exécution, le temps passé en file d’attente, le statut, etc.) est ensuite stocké.
3. L’ajout du fichier dans le répertoire de FME Server déclenche une série de Workspaces (incluant les cinq par défaut énumérés précédemment) générant des fichiers HTML via des HTMLReportGenerator.
4. Ceux-ci sont ensuite automatiquement affichés dans l’onglet Dashboard de l’interface FME Server.

Pour personnaliser un rapport existant ou pour en créer un nouveau, il suffit donc de créer de nouveaux Workspaces. Ceux-ci généreront à leur tour de nouveaux rapports HTML qui seront ensuite disponible dans l’onglet Dashboards de FME Server.

Techniquement, il n’est pas très complexe de créer ou modifier de nouveaux rapports. Cependant, au-delà du concept de la créativité sans limites, certains administrateurs de FME Server peuvent trouver challengeant d’identifier les meilleures techniques de surveillance répondant aux besoins de l’organisation. Voici quelques exemples de rapport pour vous inspirer :

Des exemples de rapports personnalisés

Pourcentage d’échec de l’ensemble des Workspaces exécutés

Graphique du pourcentage d’échec par Workspace exécuté

Ce graphique personnalisé présente les échecs en mode absolu plutôt qu’en mode relatif tel que défini originalement dans le rapport par défaut (numéro 2). Cette information peut s’avérer fort utile, entre autres pour une organisation qui possède des processus « non-critiques » s’exécutant 50 fois par jour, ainsi que des processus « très critiques » qui sont planifiés une fois par nuit. De plus, si un jeu de données sources a été mis à jour, ou bien qu’un Workspace ait été modifié, l’administrateur pourra analyser la variation du taux d’échec et proposer une stratégie de rétablissement si requis.

Temps d’exécution moyen des Workspaces par catégorie

Avec la croissance du nombre de traitements, la gestion de l’occupation des engines FME Server est un sujet qui préoccupe beaucoup d’administrateurs de la plateforme. Ceux-ci cherchent parfois à savoir quelles sont les plages libres pour insérer de nouvelles tâches planifiées. Ou bien, ils souhaitent connaitre quels types de tâches occupent leur FME Server.

Dans ces cas, il est possible de créer un rapport indiquant le temps d’exécution moyen des Workspaces par catégorie. En analysant le temps spécifique d’exécution des tâches planifiées, on pourra alors connaitre l’occupation prévisible du FME Server. On peut ensuite analyser les pourcentages d’occupation des autres catégories, à savoir ceux déclenchés par les Automations, ceux provenant des applications ainsi que les autres Workspaces lancés manuellement. 

Pour résumer, FME Server est une plateforme d’intégration de données complète qui est en constante évolution. Au-delà de ses capacités à gérer de multiples traitements de données et d’intégrations entres applications, elle offre une grande panoplie de possibilités au niveau de la surveillance. Cela peut s’avérer fort pertinent spécialement pour les organisations qui sont guidées par les données ainsi que dans un contexte où des règles de gouvernance sont exigées.