Hbase Presentation and Comparison with HDFS
Hbase Presentation and Comparison with HDFS
Database Management, Big Data, NoSQL · course
Fiche de révisionFiche de cours
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce cours sur HBase couvre sa présentation, son architecture, son modèle de données, ainsi que ses domaines d'application. Les étudiants apprendront également les mécanismes de lecture et d'écriture des données, accompagnés d'exemples pratiques pour mieux comprendre l'utilisation de HBase dans des scénarios réels.
HBase est un sous-projet d'Hadoop, un framework d'architecture distribuée défini comme une base de données orientée colonne. Inspirée des publications de Google sur BigTable, HBase est conçue pour gérer de grandes quantités de données de manière efficace. Mark Zuckerberg a annoncé le 15 novembre 2010 que Facebook allait désormais utiliser HBase en remplacement de Cassandra.
HBase est un projet Apache open source qui s'installe généralement sur le système de fichiers HDFS d'Hadoop pour faciliter la distribution, bien que cela ne soit pas obligatoire. HDFS est un système de fichiers utilisé pour stocker de grands ensembles de données, tandis que HBase est une base de données NoSQL. HDFS a une architecture rigide qui ne permet pas de changements dynamiques, alors qu'HBase permet des écritures et lectures aléatoires de données.
HDFS est idéal pour les cas d'utilisation à écriture unique et à lecture multiple, tandis qu'HBase est mieux adapté aux écritures et lectures aléatoires. HDFS traite des données structurées, semi-structurées et non structurées, tout comme HBase. Cependant, HDFS ne dispose pas d'un moteur de traitement en mémoire, ce qui ralentit l'analyse des données, alors qu'HBase utilise un moteur de traitement en mémoire qui augmente considérablement la vitesse de lecture et d'écriture.
Le concept de base de données en HBase est la table HBase. Développer et modéliser une base de données en HBase revient à implémenter une ou plusieurs tables HBase. Une table HBase est un tableau multidimensionnel de données distribué et persistant sur le HDFS sous forme de fichiers spécifiques appelés HFiles.
create 'NOMTABLE', 'FAMILLE1', 'FAMILLE2'
Cette commande crée une nouvelle table HBase avec deux familles de colonnes.
Dans la terminologie HBase, le nœud maître s'appelle le HMaster, et les nœuds esclaves s'appellent les RegionServers. Le stockage des données est distribué sur les RegionServers, qui sont gérés par le HMaster. Ce dernier gère les métadonnées des tables HBase et coordonne l'exécution des activités des RegionServers.
Les tables HBase sont divisées en partitions appelées "régions", qui sont réparties entre les nœuds RegionServers pour le stockage. Lorsqu'une région dépasse une taille maximale, elle se partitionne automatiquement en deux. Les régions forment l'unité de stockage en HBase et sont essentielles pour la distribution du stockage et la scalabilité du cluster HBase.
Zookeeper surveille l’état du cluster et informe régulièrement le HMaster des différents états. Il stocke des informations critiques du cluster, dont l’emplacement de la table système -ROOT-.
Pour écrire des données, le client communique d'abord avec le serveur de régions, puis avec les régions. Les données sont d'abord stockées dans Memstore, où elles sont triées avant d'être vidées dans HFile. Ce processus permet de gérer efficacement les écritures dans un système de fichiers distribué.
HBase est particulièrement utile dans des domaines tels que les télécommunications et le secteur bancaire, où il est nécessaire de gérer de vastes volumes de données. Par exemple, dans l'industrie des télécommunications, HBase est utilisé pour stocker des milliards d'enregistrements de journal CDR (enregistrement détaillé des appels) et fournir un accès en temps réel à ces données.
Dans le secteur bancaire, HBase est utilisé pour stocker et analyser des millions d'enregistrements quotidiens, permettant ainsi de détecter des fraudes dans les transactions monétaires.
HBase est une base de données NoSQL orientée colonne, tandis que HDFS est un système de fichiers distribué. HBase permet des écritures et lectures aléatoires, alors qu'HDFS est optimisé pour des écritures uniques et des lectures multiples.
Le modèle de données dans HBase est basé sur des tables, où chaque table est un tableau multidimensionnel. Les données sont organisées par RowKey, familles de colonnes et colonnes, permettant une grande flexibilité.
Les principaux composants de l'architecture HBase incluent le HMaster, qui gère les RegionServers, et les RegionServers eux-mêmes, qui stockent et gèrent les données. Zookeeper est également utilisé pour surveiller l'état du cluster.
Pour écrire des données, le client communique avec le serveur de régions, qui stocke les données dans Memstore avant de les transférer dans HFiles. Pour lire des données, le client interroge directement les RegionServers.
HBase est utilisé dans des domaines tels que les télécommunications pour gérer des milliards d'enregistrements de journal et dans le secteur bancaire pour stocker et analyser des millions d'enregistrements quotidiens.