L'indexation expliquée

Processus d'indexation

TrendMiner utilise un mécanisme de mise en cache (appelé indexation) pour permettre une visualisation et une analyse rapides et interactives de vos données temporelles. Ce mécanisme est utilisé dans tous les algorithmes (recherche, diagnostic, surveillance et prédiction). Chaque fois qu'un utilisateur accède à un tag pour la première fois sur une installation TrendMiner (généralement en ajoutant un tag à la liste des tags actifs), le tag passe par un processus d'indexation. Une fois qu'un tag a été entièrement indexé, cet index est disponible pour tous les utilisateurs de l'installation TrendMiner (en tenant compte bien sûr des autorisations d'accès aux données). TrendMiner s'assurera que ces index seront maintenus à jour en ajoutant des données à l'index à intervalles réguliers, sans nécessiter aucune interaction de votre part. Cela vous permettra d'avoir un accès rapide aux données récentes pour l'analyse.

L'indexation expliquée

Il existe 2 paramètres importants et configurables liés à l'indexation :   

  • la résolution de l'index : détermine la granularité de votre analyse.  
  • l'horizon de l'index: détermine la date de début de l'index qui sera créé. 

Par défaut, la résolution de l'index d'une installation TrendMiner est fixée à 1 minute et l'horizon de l'index est fixé au 1er janvier 2015. Ces deux paramètres peuvent être modifiés par l'administrateur de TrendMiner. 

Les images ci-dessous fournissent une explication conceptuelle du processus d'indexation d'un tag analogique, et de l'impact du paramètre de résolution sur l'index créé.  Dans la première image ci-dessous, les données originales, telles que stockées dans la base de données, sont visualisées pour une période de 1 minute. Chaque point bleu représente une valeur de la série temporelle qui est stockée dans la base de données (il peut s'agir déjà d'une compression, en fonction des paramètres de stockage de la base de données).

IE_1.png

La résolution d'index configurée définit le nombre de points de données que TrendMiner recevra de la base de données. Pour une résolution de 10 secondes, TrendMiner demande des données par intervalles de 10 secondes. Les connecteurs historiens de TrendMiner sont conçus pour s'assurer que nous obtenons les données les plus significatives pour ces intervalles. Pour un connecteur Pi d'Osisoft, cela signifie que nous recevons potentiellement 4 points de données par intervalle (c'est-à-dire la valeur de début et de fin, et la valeur maximale et minimale dans l'intervalle).   

Les gros points rouges dans les images ci-dessous indiquent quelles données seraient éventuellement disponibles dans l'index de TrendMiner pour une configuration de résolution de 10 secondes (graphique du haut) et une configuration de résolution de 1 minute (graphique du bas). 

IE_2.png

Les performances des bases de données sous-jacentes ainsi que la résolution d'index configurée influencent la vitesse d'indexation. Pour une résolution d'index plus élevée, la base de données doit transférer davantage de points de données, et le processus d'indexation sera donc plus long. La définition d'une résolution est donc un compromis entre la granularité des données et les performances.

L'indexation initiale commencera toujours à partir de l'heure actuelle et progressera jusqu'à l'horizon configuré (c'est ce qu'on appelle l'indexation en arrière). Lorsque plusieurs tags sont indexés en même temps, les données les plus récentes sont toujours prioritaires. Cela garantit que les utilisateurs simultanés pourront commencer leur analyse sur des données récentes instantanément.   

En tant qu'utilisateur, vous pouvez suivre le processus d'indexation en vérifiant l'état de l'index dans les détails des tags de la liste des tags actifs, ou en regardant la barre de contexte. La barre de contexte est tracée uniquement à partir des données indexées.

Une fois que les tags sont indexés en arrière, TrendMiner s'assurera que ces index seront maintenus à jour (c'est-à-dire indexés en avant) en ajoutant des données à l'index à intervalles réguliers, sans nécessiter d'interaction de la part de l'utilisateur. Cela permettra aux utilisateurs de toujours avoir un accès rapide aux données récentes pour l'analyse.

Remarque : En tant qu'administrateur de TrendMiner, vous pouvez accéder à la page d'aperçu de l'index pour obtenir un aperçu de tous les tags indexés et de leur état actuel. 

Quel est l'impact de l'index sur les fonctionnalités de TrendMiner ?   

L'index créé d'un tag permet une analyse rapide et interactive de vos données et est utilisé dans tous les algorithmes.   

Graphique 

Pour les graphiques de tendance (“graphique de focus), les données d'index seront utilisées pour faciliter la visualisation rapide de longues périodes de temps, plus précisément lorsque la période visualisée est supérieure à 300 fois la résolution de l'index (c'est-à-dire 5 heures pour une résolution d'index de 1 minute). Dans d'autres cas, les données indexées peuvent être trop imprécises et les données seront demandées directement à la base de données pour assurer la représentation la plus précise possible. Lorsque les données indexées ne sont pas encore disponibles, les données seront également demandées directement à l'historien.   

Recherches

Les recherches seront exécutées uniquement sur les données indexées.    

La durée minimale d'un résultat de recherche dépend de la résolution de l'index et de l'algorithme de recherche utilisé. 

  • Pour les recherches de valeurs, d’échelons et de zones opératoires, la durée minimale est de 2 fois la résolution de l'index, donc 2 minutes pour une configuration par défaut avec une résolution de 1 minute.  Pour les périodes plus courtes que la durée minimale, TrendMiner ne dispose pas de données suffisantes pour évaluer les critères de recherche, donc TrendMiner est incapable de récupérer ces périodes plus courtes. La définition d'une résolution est donc un compromis entre la granularité de la recherche et la performance. Comme les recherches sont effectuées sur des blocs de données d'index, les durées des résultats de recherche seront toujours des multiples de la résolution de l'index. 
  • Pour les recherches de similarité, la longueur de la requête de recherche doit être au moins 4 fois supérieure à la résolution de l'index. De plus, pour les recherches de similarité, seules les données indexées seront utilisées pour vérifier la similarité. Il en résulte une analyse rapide.    

Pour des périodes très courtes, les résultats de la recherche de similarité peuvent sembler imprécis. L'algorithme de recherche trouvera des résultats pour lesquels les données d'index correspondent bien aux données d'index de la période de la requête.  Cependant, lors du traçage de si petites périodes, TrendMiner récupérera les données directement de l'historien. Si ce tag est un tag haute résolution, il y a beaucoup plus de points de données visualisés que ceux utilisés dans l'algorithme de recherche, ce qui explique la déviation observée.   

Constructeur de Tag 

L'index de tous les tags calculés est construit en effectuant des calculs sur l'index des tags sous-jacents.   

Lors de la représentation graphique de ces tags pour des périodes inférieures à 300 fois la résolution de l'index, les tags seront interrogés directement depuis la base de données et les tags calculés seront évalués "à la volée".    

Diagnose 

Les algorithmes de diagnostic utilisent également les données indexées pour évaluer les écarts de corrélations et d'empreintes.   

Parallèlement à la remarque pour les recherches de similarité, cela signifie que l'analyse de corrélation croisée peut donner des nombres de corrélation élevés sur des périodes très courtes (c'est-à-dire des périodes qui sont approximativement égales à la résolution de l'index), bien que les données brutes visualisées ne montreront aucune ou seulement une légère corrélation. 

Moniteurs 

Les moniteurs sont construits par-dessus les recherches et permettent aux utilisateurs de rendre leurs recherches opérationnelles. Les moniteurs utilisent donc les mêmes données que les recherches.    

Pour s'assurer que les résultats des moniteurs sont reçus en temps voulu, l'index des tags utilisés dans les moniteurs (également celui des tags sous-jacents dans le cas des formules) est mis à jour toutes les 2 minutes.   

 

 

 

Enjoying TrendMiner? Share your experience to help the community and receive $25.
Rate TrendMiner