Logo PG Software
lundi, 30 mai 2016 15:30

Gérer le stockage via Hadoop avec Applications Manager

Évaluer cet élément
(0 Votes)

Le stockage et le traitement de volumes importants de données a toujours été un défi pour les administrateurs. Ce besoin croissant de stocker et de traiter de grands ensembles de données efficacement a conduit à l'élaboration du framework Hadoop. Avec sa capacité de stockage massif et une énorme puissance de traitement, Hadoop permet aux utilisateurs de gérer de plus en plus d’ensembles de données et d'effectuer facilement les tâches d'administration.
Cependant, il est important d'assurer le bon fonctionnement du framework Hadoop.

Avec Applications Manager, il est facile d'obtenir un aperçu opérationnel de votre environnement Hadoop, de vous connecter à des clusters Hadoop via l'API REST ou JMX, de maintenir une santé optimale des clusters Hadoop distribués, et de veiller à ce que vos clusters soient disponibles et qu’ils effectuent rapidement et avec précision les tâches de traitement.

Suivre l'état global des clusters Hadoop

  • Surveillez la disponibilité et la santé de votre système Hadoop.
  • Obtenez des statistiques sur votre système de fichiers distribués (DFS) (capacité DFS, espace utilisé, espace libre),
  • Suivez la croissance du fichier et du répertoire et prévenez d'éventuels problèmes dus à une croissance anormale du nombre de fichiers.
  • Suivez l'état des blocs (manquants, corrompus, etc.) pour garantir que les données sont stockées de manière optimale à travers le DFS Hadoop.

stockage données avec hadoop et applications manager

Surveillance du Hadoop Distributed File System (HDFS)

  • Obtenez des tendances sur la capacité et l'utilisation des HDFS via le suivi de l'état de NameNode JVM et OS.
  • Recevez des notifications lorsque les seuils ne sont pas respectés.
  • Surveillez l'état des DataNodes individuels et obtenez des notifications instantanées quand ils sont en baisse.
  • Suivez la mémoire HDFS et soyez notifié en cas de pénurie de mémoire.

 hadoop hdfs

Consultation des performances de TaskTrackers ou NodeManagers

  • Suivez l'état des TaskTrackers et des slots dans Hadoop version 1.x depuis Hadoop MapReduce.
  • Affichez l'état de la file d'attente pour déterminer si des tâches sont en cours d'exécution ou si la file d'attente est pleine.
  • Pour la version 2.x, suivez les performances de NodeManager du Hadoop Yarn.
  • Identifiez les statuts des node : actif, déprogrammé, terminé ...

hadoop nodemanager

Suivre l'état des jobs ou des applications facilement

  • Soyez toujours informé du nombre de jobs ou d’applications en cours d'exécution à un moment donné.
  • Triez les jobs ou les applications en fonction de leurs états.
  • Recevez des notifications sur le nombre de jobs ou d’applications qui ont échoué, afin de pouvoir prendre les mesures correctives nécessaires.

hadoop applications

hadoop jobs 

Rapports et tableaux de bord

Conservez à portée de main des informations très importantes. Visualisez l’utilisation des ressources et les performances de votre cluster Hadoop avec des rapports préconfigurés et des tableaux de bord qui affichent des données en temps réel et des historiques.

Lu 2540 fois

Vous avez la possibilité de créer un compte lors du téléchargement d'un produit.