Machine Learning Hub et Notebooks

Qu'est-ce que le Machine Learning Hub ?

La vision de TrendMiner pour démocratiser l'analyse va au-delà de la simple mise à disposition d'outils en libre-service pour les experts du domaine, et inclut également une collaboration plus étroite entre une variété d'experts pour résoudre les problèmes. Certains des problèmes les plus complexes nécessitent la participation de Data Scientists qui apportent des techniques spécialisées permettant aux entreprises d'extraire des données disponibles les informations les plus approfondies. Pensez statistiques avancées et modèles d'apprentissage automatique.

Après un programme d'essai très réussi avec les Notebooks, nous sommes fiers d'annoncer le lancement complet d'un nouveau Machine Learning Hub (MLHub) pour les données de séries temporelles, étendant les capacités d'analyse et d'apprentissage automatique du client de production de TrendMiner. Avec MLHub, les (Citizen) Data Scientists peuvent accéder aux données TrendMiner (aussi bien les données brutes que les données prétraitées et contextualisées dans les vues TrendMiner) et valider des hypothèses ou créer/entraîner/déployer des modèles d'apprentissage automatique dans le nouvel environnement Notebook, que d'autres utilisateurs peuvent appliquer grâce aux tags Machine Learning et visualiser dans DashHub.

Comment utiliser la page d'accueil de MLHub ?

Remarque importante : MLHub n'est accessible qu'après la mise en place de la gestion des accès. Une licence séparée est également nécessaire. Contactez-nous chez TrendMiner si vous êtes intéressé.

ML1.png

Dans le coin supérieur gauche de l'environnement TrendMiner, vous trouverez le bouton de sélection du hub. Ici, vous pouvez sélectionner le hub vers lequel vous souhaitez naviguer.

Cliquez sur le bouton "MLHub".

Dans le coin supérieur droit, vous trouvez le reste de la barre supérieure. Celle-ci reste la même dans tous les hubs TrendMiner.

Juste en dessous de la barre supérieure, il y a les boutons d'actions des notebooks pour créer, charger et importer des notebooks.

Sur le côté gauche de votre écran, vous trouverez des extraits de notebook. Il s'agit de blocs de code prédéfinis à utiliser dans vos Notebooks. Voir "extraits de code" ci-dessous. 

Qu'est-ce que le Notebook ?

La fonctionnalité Notebook de TrendMiner est une plateforme qui permet aux utilisateurs de créer et de travailler avec des outils avancés au-delà des solides capacités intégrées, au sein de l'environnement TrendMiner. 

Pourquoi utiliser des Notebooks ?

Avec les Notebooks intégrés, vous pourrez :

  • Charger des données à partir d'une vue TrendHub, préparée à l'aide des capacités intégrées typiques de TrendMiner (sélectionner un ensemble de tags intéressants, sélectionner les périodes d'intérêt, par exemple via des recherches, …)
  • Visualiser et analyser vos données de différentes manières, qui ne sont pas possibles dans TrendMiner.
  • Effectuer l'automatisation des analyses via des scripts (par exemple, répéter l'analyse sur une large gamme d'installations).
  • Créer des tags (prédictifs) à l'aide de modèles personnalisés (par exemple, des réseaux neuronaux ou des clusters) pris en charge par les bibliothèques typiques de Notebook.

Vous pouvez utiliser des options de visualisation plus avancées qui sont intégrées au Notebook.  Le Notebook est livré avec sa propre Vignette de Notebook, de sorte que vous pouvez également intégrer votre travail dans un tableau de bord DashHub et le mettre à la disposition de toute votre organisation.

Comment utiliser les Notebooks ?

Remarque : Interpréteur - L'interpréteur par défaut des Notebooks est Python.

Sur la page d'accueil de MLHub, vous pouvez soit créer un nouveau Notebook, soit charger ou importer un Notebook existant. Un nouveau Notebook sera toujours vide.

Créer un Notebook

  1. Entrez dans la page d'accueil de MLHub.
  2. Cliquez sur le bouton "Nouveau" ou sur l'indication "Créer un Notebook". Un panneau apparaît à droite de l'écran.ML2.png
  3. Remplissez les champs vides et sélectionnez un dossier pour stocker votre nouveau Notebook.ML3.png
  4. Cliquez sur le bouton "Créer".
  5. Sélectionnez la configuration du kernel que vous souhaitez lancer.ML4.png

Nous proposons des notebooks ou des kernels comprenant des paquets de visualisation préinstallés. Nous vous recommandons de démarrer avec le kernel "Python with Visualization Libraries on Kubernetes".

Confirmez votre sélection en cliquant sur "sélectionner".

Un nouveau Notebook s'ouvre sur lequel vous pouvez écrire votre code python. Vous voudrez peut-être introduire notre code d’initialisation qui charge les paquets hautement recommandés, car vous en aurez besoin pour lire le contenu de TrendMiner. Vous pouvez ajouter ce code en cliquant sur le bouton "Initialization script" dans le menu à gauche.ML5.png

Charger un Notebook

  1. Entrez dans la page d'accueil de MLHub
  2. Cliquez sur le bouton "Charger". Un panneau montrant l'Organiseur de travail apparaît à droite de l'écran.
  3. Choisissez de télécharger un notebook avec votre système de navigation de fichiers local ou choisissez d'utiliser l'organiseur de travail. Seuls les Notebooks Jupyter (extension de fichier .ipynb) sont pris en charge. 
  4. Cliquez sur le bouton "charger" en bas à droite.

Importer un Notebook

  1. Entrez dans la page d'accueil de MLHub
  2. Cliquez sur le bouton "Importer". Un panneau apparaît à droite de l'écran.
  3. Choisissez d'importer un Notebook avec votre système de navigation de fichiers local ou choisissez d'utiliser l'Organiseur de travail
  4. Sélectionnez "importer".

Charger les données TrendMiner sous forme de DataFrame.

Remarque : à partir de la version 2022.R2, seules les "Vues TrendHub" et les "Vues ContextHub" sont disponibles comme contenu TrendMiner. D'autres contenus seront introduits dans les versions ultérieures.

Vous pouvez charger des vues TrendHub ou ContextHub, par exemple des périodes de bon fonctionnement et/ou de fonctionnement anormal. Puis les comparer à l'aide d'analyses avancées en les ajoutant à votre liste de CONTENUS TRENDMINER. 

  1. Cliquez sur le bouton bleu "+". Un panneau latéral apparaîtra sur la droite.
  2. Sélectionnez la (les) vue(s) enregistrée(s) que vous souhaitez ajouter en tant qu'ensemble de données.
  3. Cliquez sur "Charger".ML6.png

Les éléments de la liste du menu de contenu peuvent être ouverts ou supprimés. Pour supprimer, cliquez sur le x à droite de l’élément à supprimer.

  • Cliquez sur le nouveau contenu pour l'ouvrir. Cela ajoutera le code python correspondant dans une nouvelle cellule à la fin du Notebook.

ML7.png

Vues TrendHub

Vous pouvez obtenir plus d'informations en exécutant la commande suivante dans le Notebook : 

help(trendminer.dataframes.data_frames) 

load_view( ) : Charge les données de série chronologique d'une vue TrendHub enregistrée dans une liste de DataFrames Pandas.  

  • Un DataFrame est renvoyé par calque dans la vue.
  • Chaque DataFrame peut avoir un ensemble différent de tags disponibles.
  • Les paramètres facultatifs [layer_ids] vous permettent de ne charger qu'une liste spécifique de calques (identifiées par les identifiants de calque, tels que fournis par la fonction view_info).

view_info( ) : Collecte les informations sur une vue en fonction de son ID. Cette info peut être utilisée pour récupérer les données d'une vue : elle liste tous les calques qui sont inclus dans la vue. Lorsque vous récupérez des données à partir de la vue, vous pouvez sélectionner les calques à inclure dans les données. 

Snippets

Actuellement, les snippets sont applicables dans les kernels python pour déployer des modèles de Machine Learning. Vous trouverez de plus amples informations ici.

ML8.png

Publication de la sortie du Notebook dans un pipeline

Si vous avez une cellule de sortie Notebook avec un résultat ou une visualisation intéressante que vous voulez partager, vous pouvez la publier dans un objet de sortie Notebook.

Des pas:

1. Cliquez sur le bouton "Publier" dans le coin supérieur droit. 

Pipeline_1.png

2. Sélectionnez TOUTES les cellules qui sont pertinentes pour le résultat que vous voulez publier, y compris les déclarations d'importation et les déclarations de variables. Assurez-vous que la dernière cellule sélectionnée produit une sortie valide. Vous pouvez sélectionner une cellule en cliquant n'importe où sur celle-ci, ou utiliser les cases à cocher dans les coins supérieurs droits.

Pipeline_2.png

 

Pipeline_3.png

3. Cliquez à nouveau sur "Publier". Ici, vous pouvez donner un nom au pipeline et spécifier un emplacement de stockage dans l'Organiseur de travail. Cela créera un objet "pipeline", qui est une sorte de mini-notebook contenant uniquement les cellules sélectionnées. Les pipelines n'ont aucune relation avec leurs notebooks d'origine, ils constituent une entité distincte. Si vous mettez à jour le notebook, vous devrez également créer un nouvel objet pipeline.

Pipeline_4.png

4. Cliquezsur lebouton Publieren bas à droite.

DashHub : Vignettes de sortie Notebook

DashHub permet d'afficher toute sortie d'un paragraphe du Notebook dans une Vignette du Dashboard.

Création d'une Vignette de Notebook

  1. Allez dans DashHub et créez un nouveau tableau de bord ou ouvrez un tableau de bord précédemment créé.
  2. Cliquez sur le bouton "Actions". Un menu déroulant apparaît.
  3. Cliquez sur "Ajouter une nouvelle vignette". Un panneau latéral apparaîtra sur la droite.
  4. Cliquez sur l'option "Sortie Notebook".
  5. Donnez un titre à la vignette de tableau de bord.
  6. Sélectionnez l'objet pipeline dans l'Organiseur de travail.
  7. Ajustez le paramètre de rafraîchissement si nécessaire.
  8. Cliquez sur "Ajouter une nouvelle vignette".

ML9.png

Remarque : lorsque vous partagez une vignette DashHub, les vues et les objets de pipeline sous-jacents doivent également être partagés.

Remarques et problèmes connus

Le partage d'un Notebook donne lieu à un lien symbolique vers le Notebook original. Cela signifie que le créateur reste le propriétaire des données de référence du notebook. Les modifications apportées aux cellules sont enregistrées selon le principe FIFO et ne seront mises à jour que lors du rafraîchissement de l'écran.

Les objets pipeline publiés ne sont plus liés aux notebooks d'origine. Une fois publiés, les changements sur le notebook n'auront pas d'impact automatique sur l'objet pipeline existant du notebook. Cela permet aux utilisateurs d'affiner les sorties de cellules de notebook, sans avoir d'impact sur les autres utilisateurs/visiteurs.

Les notebooks et les visualisations des sorties des notebooks sont exécutés en fonction de vos autorisations et privilèges. Cela signifie que certaines sources de données peuvent être bloquées, et que vous ne pouvez traiter les données qu'en fonction de votre rôle.

Enjoying TrendMiner? Share your experience to help the community and receive $25.
Rate TrendMiner