Version 7 Manuel de l'administrateur Table des matières LinkedIn social network LinkedIn social network LinkedIn social network LinkedIn social network Share on social media

Synthèse des modes de collecte de données SNMP du logiciel LoriotPro

Introduction

Avec LoriotPro il y a de nombreuses manières de réaliser des collectes de données. Ce document explore ces différentes manières, leurs avantages et leurs inconvénients. LoriotPro est avant tout un gestionnaire de réseau basé sur le protocole SNMP, c.a.d. un MANAGER au sens strict de la norme SNMP, mais il est aussi capable de réaliser des collectes de tout type en utilisant d’autres protocoles, des bases de données, des fichiers, des accès WEB, etc. Ce sont principalement les collectes en SNMP qui sont  abordées dans ce document, mais les autres modes sont aussi concernés pour certains cas.
Le choix d’une méthode de collecte en SNMP est directement lié aux questions suivantes :

En fonction de ces informations, il sera plus facile de déterminer si :

En mode passif le manager SNMP (LoriotPro)  attend de recevoir des équipements des paquets SNMP l’informant d’un changement de statut ou d’une anomalie. Ces paquets dans la norme SNMP sont appelés Trap ou Notification. A réception les paquets sont analysés et en cas de réponse avec des statuts de défaut ou des valeurs jugées hors des seuils de tolérance, des alarmes sont générées et les visuels de supervision modifiés. 
 En mode actif, c’est le manager SNMP (LoriotPro) qui interroge régulièrement les équipements, en cas de non-réponse ou de réponse avec des valeurs jugées hors des seuils, des alarmes sont générées et les visuels de supervision modifiés. 


ActifPassifMode_FR.png
Avantages du mode passif :

Inconvénients du mode passif :

Avantage du mode actif :

Inconvénient du mode actif :

Après avoir fait le choix d’un mode de collecte, actif ou passif, le volume des collectes, la fréquence des collectes et la réactivité attendue orienteront le choix des outils de collectes
Voici les différents outils de collecte disponible au sein du logiciel LoriotPro que ce document explore dans les chapitres suivants

Collecte des Trap et Notificaction SNMP (mode passif)

Principe

LoriotPro collecte les Trap ou notification SNMP envoyés par les équipements dans un bac de réception. La configuration de filtre pour chaque type de Trap permet de comptabiliser ceux-ci. Les compteurs peuvent ensuite être utilisés pour changer le statut des objets graphiques dans les visuels ActiveView. Les filtres peuvent aussi être utilisés pour envoyer des alarmes aux administrateurs (sonore, mail, SMS, etc)

TrapMonitoring.png

 

Avantages

Inconvénients

Collecte avec le Poller asynchrone (mode actif)

Principe

LoriotPro dispose d’un processus en tâche de fond (Poller Process) en charge de vérifier à intervalles réguliers les connexions avec les équipements déclarés dans son annuaire. En fonction des réponses retournées par les équipements les statuts de couleurs changent, vert indique que l’équipement répond aux requêtes SNMP, bleu qu’il répond au PING, jaune et rouge que la connexion est perdue ou défaillante. Ce processus est asynchrone, et dispose de deux unités d’exécution distinctes (thread), une pour l’envoi des requêtes l’autre pour analyser toutes les réponses. Des collectes complémentaires de données SNMP sur des objets diverses et spécifiques à chaque équipement surveillé  peuvent aussi être réalisées lors des interrogations (polling), les valeurs de retour seront enregistrées dans des fichiers pour une exploitation dans d’autres modules du logiciel.
PollingMethod_Poller.png

Avantages

Inconvénients

Disponibilité

Free Edition (limité à 10 machines), Lite Edition (limité à 100 machines) , Standard Edition, Extended Edition, Broadcast Edition.

Collecte avec le plugin Bulk Threshold Control (mode actif)

Principe

Ce module  (PLUGIN) permet de collecter de façon synchrone, les uns à la suite des autres des objets SNMP sur un ou plusieurs équipements. Les valeurs recueillies sont ensuite comparées à des seuils pour déclencher des alarmes (appelé EVENT dans le logiciel LoriotPro). Les Event sont ensuite utilisés pour alerter un administrateur de l’anomalie par divers moyen, visuel sur des synoptique, sonore, email, SMS, etc.
La comparaison au seuil peut ’effectue sur des objets SNMP de type entier, jauge et compteur et chaine de caractère.
PollingMethodBulkThreshold.png

Avantages

 Inconvénients

Collecte avec les visuels ActiveView (mode actif)

Principe

Les visuels ActiveView sont des modules (plugin) de LoriotPro utilisable pour la représentation de cartes de topologie réseau, de synoptique d’états de fonctionnement et de disponibilité, de visuels d’équipements, de cartes géographiques et d’implantation, de tableau de bord. Les ActiveView sont créées manuellement et unitairement ou à partir de modèles.  Elles peuvent être aussi créées dynamiquement par des scripts en langage  LUA.

Les ActiveView  contiennent des objets graphiques dont l’aspect visuel, la couleur de fond principalement, est  dépendant de la valeur de retour d’une expression. Cette expression peut être une collecte SNMP, un relevé de compteur d’erreurs ou d’alarmes, un script LUA, etc.

Les ActiveView réalisent la collecte des valeurs associées à chaque objet graphique de façon séquentielle. Plus il y a d’objets dans un visuel plus il faut de temps pour collecter et mettre à jour les objets. Les ActiveView disposent de deux unités d’exécution (thread) associées à deux files de traitement. Par défaut toutes les collectes sont placées dans la première file de traitement. Si un équipement traité dans la première file ne répond pas aux requêtes (timeout), il retarde le processus de collecte et est alors déplacé dans la deuxième file. Il est replacé dans la première file lorsqu’il répond de nouveau aux requêtes.


PollingMethodActiveView.png
Le délai de temps de réponse à ne pas dépasser (seuil maximum - Timeout) est de 2 secondes par défaut.

Avantages

Inconvénients

Collecte avec les Audits (mode actif)

Principe

Les audits sont des modules (plugin) LoriotPro  qui sont attachés à des équipements déclarés dans l’annuaire. Ce mode n’est disponible qu’à partir de Loriotpro Extended Edition. Ils utilisent des scripts LUA pour réaliser des collectes. Les scripts permettent de réaliser des collectes SNMP, mais aussi d’autres types en utilisant d’autres protocoles, des bases de données, des fichiers, des accès WEB, etc.

Chaque audit dispose d’une unité d’exécution propre (thread) pour fonctionner. Le nombre de threads pouvant fonctionner simultanément sur un système dépend de son modèle de CPU et de sa puissance, au-dessus de cela, Windows 64 bits est capable de gérer des centaines de threads sur des processeurs  multicœurs.

Mais contrairement aux autres modules plugin de LoriotPro, les threads des audits ne sont pas attribués de manière statique et définitive, mais dynamiquement à partir d’un pool (Thread_pool).  Au lancement de LoriotPro, les threads du pool se partagent les travaux de collecte et de traitement (script LUA) de tous les modules d’audit déclaré dans l’annuaire.
Dans l’édition Broadcast, il est possible d’attribuer et réserver des threads du pool global a des audits afin de réduire les délais de collecte.

Avantages

Inconvénients

Collecte avec les Audits et des Global Object (mode actif)

Principe

Le principe est le même que celui présenté dans le chapitre précédent, mais on y ajoute une fonctionnalité disponible dans l’édition : Broadcast Edition. Cette fonctionnalité appelée Global Object permet de mémoriser les valeurs des objets SNMP collectés et de les rendre accessibles à partir des autres modules de LoriotPro.


PollingMethod_GO.png

Pour rappel, Les collectes de données sur les équipements du système à superviser sont principalement réalisées grâce au protocole SNMP. Ce protocole permet de récupérer des indicateurs d’état et de performance grâce à des agents SNMP présents sur les équipements et systèmes. Les délais de réponse des agents à des requêtes sont assez imprévisibles, on ne peut donc prévoir réellement le temps qu’un processus de collecte de LoriotPro mettra pour obtenir une réponse. Chaque processus de collecte dispose d’une limite maximum d’attente (appelée Timeout) au-delà de laquelle il considère que l’agent ne répond pas. Si un processus unique est chargé de ces collectes qu’il réalise donc séquentiellement la performance peut ne pas être au rendez-vous sachant  qu’une centaine de collectes peut prendre de quelques secondes à quelques minutes.
Résumons le contexte : Nous savons que les collectes que nous appelons « tâches » ont des durées d’exécution très aléatoires pouvant aller de quelques millisecondes à plusieurs secondes. Par ailleurs nous souhaitons réaliser les collectes périodiquement et  à intervalles serrés (période de polling), de l’ordre de la seconde pour certains indicateurs de performance.
Principe mis en œuvre : Toutes les tâches (collectes) à réaliser sont regroupées au sein d’un programme unique. Celui-ci détaille pour chaque tâche le type de collecte à réaliser (GET SNMP sur un objet de MIB).  Pour l’exemple nous utilisons des objets SNMP, mais d’autres types de collecte peuvent être faîtes, extrait de fichiers de log, requête sur des bases SQL, lecture de compteurs de TRAP, etc. A noter que les collectes peuvent provenir des variables globales déjà en mémoire, ce qui permet de traiter par corrélation.
Pour réaliser ces tâches, un nombre variable de processus peut y être attaché. Par principe, plus le nombre de tâches à réaliser est important et plus leur fréquence de répétition est élevée, plus le nombre de processus devra être grand. Les processus en question sont instanciés autant que nécessaires (Plugin Audit Process de LoriotPro) pour assumer un traitement quasi parallèle.
Pour simplifier la configuration, un processus d'Audit (902) est fourni. Un ou plusieurs Audits peuvent être responsables du traitement des objets globaux qui sont définis dans un même groupe.

Audit Process for a Group of Objects
Voici un exemple simplifié avec deux processus en charge de trois collectes. Les collectes sont réalisées à des intervalles de temps différents, les durées de collecte sont aussi supposées variables. Les deux processus (audit process) prennent en charge les collectes en fonction de leur disponibilité. Dès qu’ils ont fini leur job, ils parcourent la liste des collectes à faire et s’attribuent la première dont la période d’interrogation (polling) est échue et qui n’est pas déjà attribuée.

Concept of Global Object of LoriotPro

Cet exemple présente des ratios entre période d’interrogation et durée de traitement disproportionné. Habituellement le rapport entre celle-ci est de 1 à 100 environ. Dans le cas ou un agent SNMP fonctionne correctement, une collecte est de l’ordre de quelques dizaines de millisecondes et les intervalles d’interrogation entre 1 et 15 secondes. Des retards dans les traitements peuvent survenir si les délais de collecte augmentent ou si le nombre de collectes est augmenté.
Idéalement il faut que la somme des rapports entre la durée d’exécution et la période interrogation de toutes les collectes soit inférieure au nombre de processus de collecte disponible pour leur traitement.
Les valeurs des collectes sont ensuite stockées dans un  bloc de variables globales directement en mémoire. Ces variables sont accessibles de partout au sein de LoriotPro et plus particulièrement au sein d’un visuel d’Active View.
Il est possible de dédier des threads aux audits pour assurer les délais de collecte.

Avantages

Inconvénients

Collecte programmée dans le planificateur de tâche

A partir de la version 8 de LoriotPro, un planificateur de tâche est disponible. Il se présente sous la forme d’une interface graphique de type calendrier dans lequel il est possible de programmer des taches de collecte. Les collectes peuvent être planifiées ainsi des jours voire des mois à l’avance et peuvent être récurrentes de façon journalière, hebdomadaire, mensuelle, etc.  Les collectes basées sur des scripts LUA peuvent être simple et concerner quelques objets SNMP ou complexes pour intégrer de nombreuses collectes sur de nombreux  équipements et/ou de la corrélation.

Avantages

Inconvénients

En résumé

Le choix d’un mode de collecte de donnée de surveillance d’une infrastructure d’équipement IP est dicté par les contraintes techniques. On en retiendra deux principales : le volume de données à collecter et la fréquence de ces collectes.  Le logiciel LoriotPro dispose de plusieurs modes de collecte pour s’adapter à ces contraintes qu’elles soient légères ou fortes.

 


LUTEUS
www.loriotpro.com