TH NextGen - Indexing explained

TrendMiner uses a caching mechanism (referred to as indexing) to allow a fast, interactive visualization and analysis of your time-series data, and is used in all algorithms (search, diagnose, monitor & predict). Whenever a tag is accessed by a user for the first time on a TrendMiner setup (typically done by adding a tag to the active tag list), the tag will go through an indexation process. Once a tag has been fully indexed, this index is available for all users within the TrendMiner installation (of course taking into account data access permissions). TrendMiner will ensure these indexes will be kept up to date by appending data to the index at regular intervals, without requiring any interaction from you. This will enable you to have fast access to recent data for analysis.

• L'indexation expliquée
• How does the index impact TrendMiner features?
  • Charting
  • Searches
  • La durée minimale d'un résultat de recherche dépend de la résolution de l'index et de l'algorithme de recherche utilisé. 
  • Diagnose
  • Moniteurs

Processus d'indexation

There are 2 important, configurable parameters related to indexing:

• la résolution de l'index : détermine la granularité de votre analyse.
• l'horizon de l'index: détermine la date de début de l'index qui sera créé.

By default, the index resolution of a TrendMiner installation will be set to 1 minute and the index horizon is set to the 1^st of January 2015. Both parameters can be modified by the TrendMiner administrator.

The pictures below provide a conceptual explanation of the indexing process of an analog tag, and how the resolution setting impacts the created index. In the first image below, the original data, as stored in the database, is visualized for a period of 1 minute. Every blue dot represents a value of the time series which is stored in the database (this might already be a compression, based on the storage settings of the database).

La résolution d'index configurée définit le nombre de points de données que TrendMiner recevra de la base de données. Pour une résolution de 10 secondes, TrendMiner demande des données par intervalles de 10 secondes. Les connecteurs historiens de TrendMiner sont conçus pour s'assurer que nous obtenons les données les plus significatives pour ces intervalles. Pour un connecteur Pi d'Osisoft, cela signifie que nous recevons potentiellement 4 points de données par intervalle (c'est-à-dire la valeur de début et de fin, et la valeur maximale et minimale dans l'intervalle).

The big red dots in the images below indicate which data would eventually be available in TrendMiner's index for a 10 second resolution setup (top graph) and a 1 minute resolution setup (bottom graph).

Both the performance of the underlying databases as well as the configured index resolution will influence the speed of indexing. For a higher index resolution, the database needs to transfer more data points, hence the indexing process will take longer. Defining a resolution is therefore a tradeoff between data granularity and performance.

L'indexation initiale commencera toujours à partir de l'heure actuelle et progressera jusqu'à l'horizon configuré (c'est ce qu'on appelle l'indexation en arrière). Lorsque plusieurs tags sont indexés en même temps, les données les plus récentes sont toujours prioritaires. Cela garantit que les utilisateurs simultanés pourront commencer leur analyse sur des données récentes instantanément.

En tant qu'utilisateur, vous pouvez suivre le processus d'indexation en vérifiant l'état de l'index dans les détails des tags de la liste des tags actifs, ou en regardant la barre de contexte. La barre de contexte est tracée uniquement à partir des données indexées.

Once tags are backwards indexed, TrendMiner will ensure these indexes will be kept up to date (i.e . forward indexing) by appending data to the index at regular intervals, without requiring interaction from the end-user. Cela permettra aux utilisateurs de toujours avoir un accès rapide aux données récentes pour l'analyse.

Remarque : En tant qu'administrateur de TrendMiner, vous pouvez accéder à la page d'aperçu de l'index pour obtenir un aperçu de tous les tags indexés et de leur état actuel. 

How does the index impact TrendMiner features?

The created index of a tag allows a fast, interactive analysis of your data and is used in all algorithms.

Charting

For trend charting purposes (focus chart), index data will be used to facilitate fast visualization of long time periods; more specifically whenever the visualized period is bigger than 300 times the index resolution (i.e. 5 hours for an index resolution of 1 minute). In other cases, the index data might be too course and data will be requested directly from the database to assure the most accurate representation possible. Whenever indexed data is not yet available, data will also be requested directly from the historian.

Searches

Les recherches seront exécutées uniquement sur les données indexées. 

The minimum duration of a search result will depend on the index resolution and the search algorithm which is being used. 

• Pour les recherches de valeurs, d’échelons et de zones opératoires, la durée minimale est de 2 fois la résolution de l'index, donc 2 minutes pour une configuration par défaut avec une résolution de 1 minute. Pour les périodes plus courtes que la durée minimale, TrendMiner ne dispose pas de données suffisantes pour évaluer les critères de recherche, donc TrendMiner est incapable de récupérer ces périodes plus courtes. La définition d'une résolution est donc un compromis entre la granularité de la recherche et la performance. Comme les recherches sont effectuées sur des blocs de données d'index, les durées des résultats de recherche seront toujours des multiples de la résolution de l'index. 
• Pour les recherches de similarité, la longueur de la requête de recherche doit être au moins 4 fois supérieure à la résolution de l'index. De plus, pour les recherches de similarité, seules les données indexées seront utilisées pour vérifier la similarité. Il en résulte une analyse rapide.  

Pour des périodes très courtes, les résultats de la recherche de similarité peuvent sembler imprécis. L'algorithme de recherche trouvera des résultats pour lesquels les données d'index correspondent bien aux données d'index de la période de la requête.  Cependant, lors du traçage de si petites périodes, TrendMiner récupérera les données directement de l'historien. Si ce tag est un tag haute résolution, il y a beaucoup plus de points de données visualisés que ceux utilisés dans l'algorithme de recherche, ce qui explique la déviation observée.

Constructeur de Tag

L'index de tous les tags calculés est construit en effectuant des calculs sur l'index des tags sous-jacents. 

When charting these tags for periods smaller than 300 times the index resolution, tags will be queried directly from the database and the calculated tags will be evaluated "on the fly".

Diagnose

The diagnose algorithms also use indexed data to evaluate correlation and fingerprint deviations.

In parallel to the remark for similarity searches, this means the cross-correlation analysis can yield high correlation numbers on very short time periods (i.e. periods which are approximately equal to the index resolution), although the visualized raw data will show no or only a slight correlation.

L'indexation expliquée

Les moniteurs sont construits par-dessus les recherches et permettent aux utilisateurs de rendre leurs recherches opérationnelles. Les moniteurs utilisent donc les mêmes données que les recherches. 

To make sure monitors results are timely received, the index of tags that are used in monitors (also the underlying tags in case of formulas) are updated every 2 minutes.