TH NextGen - Indexing explained

TrendMiner uses a caching mechanism (referred to as indexing) to allow a fast, interactive visualization and analysis of your time-series data, and is used in all algorithms (search, diagnose, monitor & predict). Whenever a tag is accessed by a user for the first time on a TrendMiner setup (typically done by adding a tag to the active tag list), the tag will go through an indexation process. Once a tag has been fully indexed, this index is available for all users within the TrendMiner installation (of course taking into account data access permissions). TrendMiner will ensure these indexes will be kept up to date by appending data to the index at regular intervals, without requiring any interaction from you. This will enable you to have fast access to recent data for analysis.

Processus d'indexation

There are 2 important, configurable parameters related to indexing:

  • la rĂ©solution de l'index : dĂ©termine la granularitĂ© de votre analyse.
  • l'horizon de l'index: dĂ©termine la date de dĂ©but de l'index qui sera crĂ©Ă©.

By default, the index resolution of a TrendMiner installation will be set to 1 minute and the index horizon is set to the 1st of January 2015. Both parameters can be modified by the TrendMiner administrator.

The pictures below provide a conceptual explanation of the indexing process of an analog tag, and how the resolution setting impacts the created index. In the first image below, the original data, as stored in the database, is visualized for a period of 1 minute. Every blue dot represents a value of the time series which is stored in the database (this might already be a compression, based on the storage settings of the database).

IE_1.png

La résolution d'index configurée définit le nombre de points de données que TrendMiner recevra de la base de données. Pour une résolution de 10 secondes, TrendMiner demande des données par intervalles de 10 secondes. Les connecteurs historiens de TrendMiner sont conçus pour s'assurer que nous obtenons les données les plus significatives pour ces intervalles. Pour un connecteur Pi d'Osisoft, cela signifie que nous recevons potentiellement 4 points de données par intervalle (c'est-à-dire la valeur de début et de fin, et la valeur maximale et minimale dans l'intervalle).

The big red dots in the images below indicate which data would eventually be available in TrendMiner's index for a 10 second resolution setup (top graph) and a 1 minute resolution setup (bottom graph).

IE_2.png

Both the performance of the underlying databases as well as the configured index resolution will influence the speed of indexing. For a higher index resolution, the database needs to transfer more data points, hence the indexing process will take longer. Defining a resolution is therefore a tradeoff between data granularity and performance.

L'indexation initiale commencera toujours à partir de l'heure actuelle et progressera jusqu'à l'horizon configuré (c'est ce qu'on appelle l'indexation en arrière). Lorsque plusieurs tags sont indexés en même temps, les données les plus récentes sont toujours prioritaires. Cela garantit que les utilisateurs simultanés pourront commencer leur analyse sur des données récentes instantanément.

En tant qu'utilisateur, vous pouvez suivre le processus d'indexation en vérifiant l'état de l'index dans les détails des tags de la liste des tags actifs, ou en regardant la barre de contexte. La barre de contexte est tracée uniquement à partir des données indexées.

Once tags are backwards indexed, TrendMiner will ensure these indexes will be kept up to date (i.e . forward indexing) by appending data to the index at regular intervals, without requiring interaction from the end-user. Cela permettra aux utilisateurs de toujours avoir un accès rapide aux données récentes pour l'analyse.

Remarque : En tant qu'administrateur de TrendMiner, vous pouvez accéder à la page d'aperçu de l'index pour obtenir un aperçu de tous les tags indexés et de leur état actuel. 

How does the index impact TrendMiner features?

The created index of a tag allows a fast, interactive analysis of your data and is used in all algorithms.

Charting

For trend charting purposes (focus chart), index data will be used to facilitate fast visualization of long time periods; more specifically whenever the visualized period is bigger than 300 times the index resolution (i.e. 5 hours for an index resolution of 1 minute). In other cases, the index data might be too course and data will be requested directly from the database to assure the most accurate representation possible. Whenever indexed data is not yet available, data will also be requested directly from the historian.

Searches

Les recherches seront exécutées uniquement sur les données indexées. 

The minimum duration of a search result will depend on the index resolution and the search algorithm which is being used. 

  • Pour les recherches de valeurs, d’échelons et de zones opĂ©ratoires, la durĂ©e minimale est de 2 fois la rĂ©solution de l'index, donc 2 minutes pour une configuration par dĂ©faut avec une rĂ©solution de 1 minute. Pour les pĂ©riodes plus courtes que la durĂ©e minimale, TrendMiner ne dispose pas de donnĂ©es suffisantes pour Ă©valuer les critères de recherche, donc TrendMiner est incapable de rĂ©cupĂ©rer ces pĂ©riodes plus courtes. La dĂ©finition d'une rĂ©solution est donc un compromis entre la granularitĂ© de la recherche et la performance. Comme les recherches sont effectuĂ©es sur des blocs de donnĂ©es d'index, les durĂ©es des rĂ©sultats de recherche seront toujours des multiples de la rĂ©solution de l'index. 
  • Pour les recherches de similaritĂ©, la longueur de la requĂŞte de recherche doit ĂŞtre au moins 4 fois supĂ©rieure Ă  la rĂ©solution de l'index. De plus, pour les recherches de similaritĂ©, seules les donnĂ©es indexĂ©es seront utilisĂ©es pour vĂ©rifier la similaritĂ©. Il en rĂ©sulte une analyse rapide.  

Pour des périodes très courtes, les résultats de la recherche de similarité peuvent sembler imprécis. L'algorithme de recherche trouvera des résultats pour lesquels les données d'index correspondent bien aux données d'index de la période de la requête.  Cependant, lors du traçage de si petites périodes, TrendMiner récupérera les données directement de l'historien. Si ce tag est un tag haute résolution, il y a beaucoup plus de points de données visualisés que ceux utilisés dans l'algorithme de recherche, ce qui explique la déviation observée.

Constructeur de Tag

L'index de tous les tags calculés est construit en effectuant des calculs sur l'index des tags sous-jacents. 

When charting these tags for periods smaller than 300 times the index resolution, tags will be queried directly from the database and the calculated tags will be evaluated "on the fly".

Diagnose

The diagnose algorithms also use indexed data to evaluate correlation and fingerprint deviations.

In parallel to the remark for similarity searches, this means the cross-correlation analysis can yield high correlation numbers on very short time periods (i.e. periods which are approximately equal to the index resolution), although the visualized raw data will show no or only a slight correlation.

L'indexation expliquée

Les moniteurs sont construits par-dessus les recherches et permettent aux utilisateurs de rendre leurs recherches opérationnelles. Les moniteurs utilisent donc les mêmes données que les recherches. 

To make sure monitors results are timely received, the index of tags that are used in monitors (also the underlying tags in case of formulas) are updated every 2 minutes.

 

Enjoying TrendMiner? Share your experience to help the community and receive $25.
Rate TrendMiner