ConfigHub - Daten

Content

Data Settings


Data_1.png

Parallel connections

TrendMiner uses certain connection settings to optimize the performance of the historian connection. By default, 2 parallel connections are used. In most cases, the value for the “Historian Parallelism” setting should equal the number of cores on your Historian server.

The setting is a global setting, but parallel connections can also be set per datasource (in the datqa > datasource menu) as an override. Changing the global default will not update the existing overrides. They will keep the current value set as override.

Note: Consult TrendMiner support at support@trendminer.com if you are experiencing performance issues or believe it would be appropriate to change this setting.

Indexing horizon

The indexing horizon shows the earliest date from where tags are indexed. Tag data before this date will not be available for TrendMiner analysis. The default indexing horizon is January 1st, 2015( reference 1). When increasing the index horizon (e.g. from 2015 to 2010), already indexed tags will automatically resume indexing up until the new horizon whenever these tags are used in charting or by monitors.

Index resolution

The index resolution defines the level of detail of the index. For a resolution of 1 minute (the default) the index contains up to 4 points per minute.

Valid index resolutions are:

  • Minimum: 1 (one second)
  • Maximum: 86400 (one day)
  • 86400 has to be divisible by the index resolution

Note: Changing the index resolution will delete all existing tag indexes

Index granularity

The index granularity defines the time periods which are fetched from the datasource to build the index, during the backward indexing process. The smaller the time periods, the more calls have to be made to the datasource, causing greater overheads and slower indexing. The larger the granularity, the greater the risk on connection time-outs and the higher the memory consumption.

The default granularity is 1 month ("1M").

Valid index granularities include, for example, "1D" (1 day), "5D" (5 days) or "2M" (2 months). Changing the granularity will not impact tags which are already indexed.

Simultaneous index operations

This value sets the number of simultaneous index operations.  The default value is 2, which means only 2 indexing tasks can be running at any given time.  Periods of different tags will be interleaved, giving higher priority to most recent periods,  ensuring all tags will index at a similar pace. 

Please contact TrendMiner support before changing this setting - support@trendminer.com

Connectors

Add a new connector by clicking the (+ Add connector) label next to the title and fill in the fields for connector details:

  • Name: free to choose name. The only restriction is that each connector name should be unique.
  • Host: hostname of the connector.
  • Username and Password: should only be filled in when they are configured on the connector installation.

As soon as a new connector is successfully added it will start syncing all the data sources which are configured to the connector.

Config_Data_1.png

If a connector cannot be synced it will show a red exclamation mark in the connector list. To learn more about the cause of failure, open the connector details by clicking on the connector name. The error feedback will be shown under 'Last sync'.

For connectors which are successfully connected the 'Last sync' field in the connector details will show the last sync date and time. The last sync date and time will be updated when a manual sync is triggered or when TrendMiner synchronises the tag cache for that connector, typically during a nightly tag cache refresh.

Important note: A green checkmark in the connector list indicates that TrendMiner is connected successfully to the connector, but it does not indicate if there are syncing issues between the connector and the data source. The health status for connected data sources should be consulted in the 'Data sources' menu. Also note that the status will not automatically update when the page is loaded. Refresh the page or choose the 'Test connection' option to update the connection status of a connector.

To edit the details of a connector click on its name to open the details and then choose 'Options' -> 'Edit'In the connector overview, the version of each connector is listed. This information is important in case a newer connector version supports new features or improvements for a specific data source.

Config_data_2.png

Changing the name of the connector will not affect the tags from the connected data sources but changing the host, username or password to an incorrect value will render - tags from the connected data sources inaccessible.

Other options available are:

  • Sync connector: this will trigger a manual (re-)sync of all data sources which are configured on this connector. Choose this option to update all tags from all connected data sources at once.
  • Test connection: this option will test the connection to the connector without triggering a sync and update the health status of the connector.
  • Delete: this option will remove the connector from the configuration and remove all data sources which are using this connector, until the data sources are reconnected via a correctly configured connector.

Data Sources

When clicking on the Data sources option, the data source menu appears:

DS1.png

Add a new data source by clicking the (+ Add data source) label next to the title. An "Add data source"  side panel will appear from the right of the screen:

Data source details

Populate the fields in the "Add data source" side panel:

  • Name: you are free to choose data source names but they are mandatory, case insensitive and unique. The name of a data source identifies the data source. 
  • Provider: TrendMiner provides some out of the box connectivity to data sources via specific vendor implementations (e.g. OSIsoft PI, Honeywell PHD, ...) and via more generic alternatives (e.g. ODBC, OleDB, ...).The provider 'TM connector' enables the  connection of data sources via a connector to connector setup. To connect a data source via multiple connectors, extra configuration is needed via the TrendMiner Connector API.
  • Connect via: this mandatory field is used to select the connector which is used to connect to the data source. All data sources need to be connected via a connector. To add a data source at least 1 connector needs to be added first.

Important note: Duplicate tag names are not supported. If 2 tags with exactly the same name are synced to TrendMiner, analytics, calculations and indexing on/for these tags might fail. Use data source prefixes to avoid possible duplicate tag name issues.

Note: Depending on the provider you select, the connection details required for completion may differ. The data managed can be one of two types (or both):

  1. Time series
  2. Asset
DS2.png DS3.png 

Time series data

When you click on the Time series check box, further fields display for completion.

Connection details

  • Host: the hostname of the data source, e.g. myhistorian.mycompany.com
  • Username and password: username and password of the account configured in the data source.
  • Password
  • Prefix: you are free to choose prefixes. They are case insensitive but unique strings and have a maximum length of 5 characters. When synchronising a data source, all tag names of that data source will be prepended with the prefix to ensure tag name uniqueness in TrendMiner. Prefixes are optional but we highly recommend the provision of a prefix when connecting a data source to avoid duplicate tag names.

Time series configuration

  • Date/Time format: E.g. 'DDMMYYYY HH:mm:ss'
  • Timezone: E.g 'Central Europe Standard Time' 
  • Tag filter: this optional field allows the addition of a regular expression. Only tags matching this regular expression will be synced to TrendMiner. E.g. Tag filter value 'LINE.[1]+' will make tags with 'LINE.1' in the name available but will exclude tags with 'LINE.3' in the tag name.
  • Connection string: E.g. 'Provider=iHOLEDB.iHistorian.1;persist Security info = False…..
  • Tag index query: E.g. 'SELECT timestamp, value FROM values WHERE tagname='{0}' AND timestamp>='{1}' AND timestamp<={2}' order by timestamp asc'
  • String tag index query: E.g. 'SELECT timestamp, value FROM values WHERE tagname='{0}' AND timestamp>='{1}' AND timestamp<={2}' order by timestamp asc'
  • Tag type mappings: E.g. 'discrete; DISCRETE, string;STRING, VariableString:STRING, SingleFloat;DISCRETE'
  • Tag list query: E.g. 'SELECT tagname, description, engunits, datatype FROM ihTags'’

Click "Save data source".

Important Note: This config is depending on the provider.

Asset data

The process when dealing with asset data sources, is somewhat similar to the time series details, but much fewer fields are required for completion.

Important Note: It is not permitted to add the same asset datasource twice!!! Asset tree permissions need to be managed in the asset permission section (ContextHub).

DS4.png

Data source menu

As soon as a new data source is successfully added it will start syncing all the tags from the data source, and can be found in the Data source menu.

To manually synchronise the data source, simply:

  1. Click on the data source of choice within the data source menu. A side panel will appear from the right.
  2. Click on the sync button.

DS5.png

If a data source cannot be synced it will show in the data source list. To learn more about the cause of the failure, open the data source details by clicking on the data source name. The error feedback will be shown under 'Last synced'.

For data sources which are successfully connected the 'Last synced' field in the data source details will show the last synced date and time. The last sync date and time will be updated when a manual sync is triggered or when TrendMiner synchronises the tag cache for that data source, typically during a nightly tag cache refresh.

Note: The status will not automatically update when the page is loaded. Refresh the page or choose the 'Test connection' option (for time series  to update the connection status of a data source.

To edit the details of a data source click on its name to open the details and then choose 'Options' -> 'Edit'

It is prohibited to edit the prefix of an existing data source because it would break existing views, formulas, etc. It is also prohibited to edit the 'Connect via'. All other fields can be updated after which the data source is synced again.

Other options available are:

  • Test connection (only for timeseries datasources): this option will test the connection to the data source without triggering a sync and update the health status of the data source.
  • Delete: this option will remove the data source and all tags from this data source until it is connected again via a correctly configured connector.

When a data source is deleted, all tags from that data source will become unavailable immediately, as well as breaking views and calculations which depend on these tags. It is possible to restore these tags and dependent views and formulas by adding the data source again, using the exact same name and prefix via the same or alternate connector.

Diagnostics

Event Frame Sync

Der Abschnitt "Event frame sync" der "Diagnostics"-Seite im "Data"-Bereich von ConfigHub ermöglicht Administratoren ein effektives Monitoring des Synchronisationsstatus von kontextfähigen Datenquellen. Es gibt mehrere Arten von Synchronisationen, für die jeweils ein eigener Abschnitt auf der Diagnoseseite existiert:

  • Bei der Live-Synchronisierung geht es darum, die Context Items in TrendMiner so nah wie möglich am Zustand der Event Frames in der Datenquelle zu halten. Eingehende Event-Frames werden nach dem Prinzip "first in, first out" sequentiell verarbeitet.
  • Die "Exzessive Interval Sync" wird automatisch von der Live-Synchronisation ausgelöst, wenn in kurzer Zeit eine groĂźe Menge von Event-Frames empfangen wird. Dies fĂĽhrt dazu, dass diese Massenaktualisierung von der Warteschlange der Live-Synchronisierung isoliert und parallel verarbeitet wird.
  • Die historische Synchronisierung kann bei kontextfähigen Datenquellen bei Bedarf ausgelöst werden und synchronisiert in bestimmten Intervallen alle Event-Frames aus dieser Datenquelle fĂĽr ein bestimmtes Zeitintervall in der Vergangenheit. Sie wird parallel zur Live-Synchronisierung und zur "Excessive Interval Sync" verarbeitet.

Die Synchronisierung von Event-Frames wird durch das Datum der letzten Ă„nderung bestimmt. Dadurch wird sichergestellt, dass Ă„nderungen immer erfasst werden, auch wenn das Event selbst auĂźerhalb des Synchronisationsintervalls liegt.

Live Sync

Für jede kontextfähige Datenquelle mit aktivierter Live-Synchronisation überprüft TrendMiner die Datenquelle regelmäßig auf neue/aktualisierte Event-Frames. Alle Event-Frames, die zwischen der letzten Überprüfung und dem jetzigen Zeitpunkt erstellt oder aktualisiert wurden, werden für die Synchronisierung herangezogen. Die Anwendung verfolgt den Fortschritt der Synchronisierung. Selbst wenn die Synchronisierung unterbrochen wird (z.B. aufgrund von Verbindungsproblemen), wird sie nach Behebung des Problems an der Stelle fortgesetzt, an der sie unterbrochen wurde.

T_1.png

Falls die Live-Synchronisierung auf eine schwerwiegende Ausnahme stößt (z.B. die Datenquelle kann nicht erreicht werden und es können keine Event-Frames abgerufen werden), erhält sie den Status "Failed" und eine Ausnahmemeldung kann durch Klicken auf den Pfeil in der Spalte ganz links sichtbar gemacht werden.

Fehler bei der Verarbeitung einzelner Event Frames fĂĽhren nicht zum Status "Failed". Diese Events werden einfach ĂĽbersprungen und als Teil der fehlgeschlagenen Context Items nachverfolgt.

Excessive Interval Sync

Die "Exzessive Interval Sync" wird automatisch ausgelöst, wenn die Live-Synchronisation eine große Anzahl von Event-Frames im selben Synchronisationsintervall erkennt. Der Schwellenwert für die "Exzessive Interval Sync" ist auf 800 Event-Frames pro Intervall festgelegt. Sobald dieser Wert erreicht ist, wird das gesamte Intervall von der Live-Synchronisierung isoliert und parallel verarbeitet. Dadurch wird vermieden, dass sich das nächste Intervall der Live-Synchronisierung aufgrund der Verarbeitungszeit verzögert, die für die große Anzahl von Event-Frames im aktuellen Intervall erforderlich ist.

T2.png

Die Tabelle enthält einen vollständigen historischen Überblick über alle "Exzessive Interval Syncs", die stattgefunden haben. Für jede einzelne werden die folgenden Informationen zur Verfügung gestellt:

  • Data Source: Die Datenquelle, fĂĽr die die Notwendigkeit einer "Exzessive Interval Sync" festgestellt wurde.
  • Interval: Das Zeitintervall, in dem die Notwendigkeit einer "Exzessive Interval Sync" auftrat.
  • Progress: Die Spalte Fortschritt kombiniert den Status der Synchronisierung mit einem Fortschrittsbalken. Die folgenden Status sind möglich:
    • Queued: Falls bereits zu viele "Exzessive Interval Syncs" laufen, werden weitere in die Warteschlange gestellt, bis Ressourcen zur VerfĂĽgung stehen, um sie abzuholen.
    • Failed: Bei der "Exzessive Interval Sync" ist eine schwerwiegende Ausnahme aufgetreten, die dazu gefĂĽhrt hat, dass einige oder alle Event-Frames nicht verarbeitet werden konnten. Sie können die Intervall-Synchronisierung erneut versuchen, indem Sie auf das Symbol fĂĽr die Wiederholung in der rechten Spalte der Tabelle klicken (nur bei fehlgeschlagenen Zeilen sichtbar). Die aufgetretene Ausnahme können Sie anzeigen, indem Sie auf den Pfeil in der Spalte ganz links klicken.
    • Done: Die "Exzessive Interval Sync" wurde erfolgreich abgeschlossen. Alle Event Frames wurden entweder erfolgreich verarbeitet oder wurden der Liste der fehlgeschlagenen Context Items hinzugefĂĽgt.

Historical Sync

Eine historische Synchronisierung kann von Administratoren bei Bedarf für kontextfähige Datenquellen angefordert werden, indem sie die gewünschte Datenquelle in der Tabelle auswählen und die historische Synchronisierung für ein bestimmtes Intervall in der Vergangenheit starten. Das Ergebnis ist eine vollständige Neusynchronisierung aller Event-Frames, die während dieses Zeitraums geändert wurden.

T3.png

Die Tabelle enthält eine vollständige historische Übersicht über alle historischen Synchronisierungen, die stattgefunden haben. Die in der Tabelle verfügbaren Informationen sind die gleichen wie bei der "Exzessive Interval Sync", einschließlich der Möglichkeit, fehlgeschlagene Synchronisierungen zu wiederholen.

Failed Context Items

Falls ein Event Frame nicht korrekt verarbeitet werden kann und das entsprechende Context Item nicht erstellt oder aktualisiert werden kann, wird es der Tabelle der fehlgeschlagenen Context Items hinzugefĂĽgt.

T4.png

Die Tabelle enthält einen vollständigen historischen Überblick über alle derartigen Ausfälle, und für jeden dieser Ausfälle werden die folgenden Informationen zur Verfügung gestellt:

  • External ID: Die ID des entsprechenden Event-Rahmens im Quellsystem.
  • Data Source: Die Datenquelle, in der sich der Ereignisrahmen befindet.
  • Sync date: Der Zeitpunkt, an dem die Synchronisation zuletzt stattfand (und fehlschlug).
  • Error message: Die Fehlermeldung, die zum Zeitpunkt des Fehlers auftrat.

Außerdem bietet die Tabelle zwei zusätzliche Funktionen:

  • View data source response: Durch Klicken auf den Pfeil in der Spalte ganz links kann der Administrator die von der Datenquelle empfangene Nutzlast anzeigen.
  • Re-process event frame: Wenn Sie auf das Symbol fĂĽr die Wiederholung in der rechten Spalte klicken, versucht die Anwendung, den Event-Frame erneut zu verarbeiten, um den Fehler möglicherweise zu beheben.

Asset Framework Sync

Der Abschnitt "asset framework sync" der Diagnoseseite im Datenbereich von ConfigHub ermöglicht Administratoren ein effektives Monitoring des Synchronisationsstatus von assetfähigen Datenquellen.

History

In der Historientabelle wird die gesamte Historie der Asset-Framework-Synchronisationen festgehalten.

T5.png

Die folgenden Informationen stehen dem Administrator zur VerfĂĽgung:

  • Data Source: Die Datenquelle, aus der die Asset-Struktur synchronisiert wurde.
  • Start date: Das Datum und die Uhrzeit, zu der die Synchronisierung gestartet wurde.
  • End date: Das Datum und die Uhrzeit, an dem die Synchronisierung abgeschlossen wurde.
  • Status: Der endgĂĽltige Status der Synchronisierung

Bei fehlgeschlagenen Synchronisierungen können Sie eine Fehlermeldung anzeigen lassen, indem Sie auf den Pfeil in der linken Spalte der Tabelle klicken.

References

  1. For clean installs of 2019.R2 or later. Upgrades from a previous TrendMiner installation will remain the previous default indexing horizon which is January 1st 2010, or the indexing horizon they set manually.