Cours Big Data - 2019
Cours Big Data - 2019
Data Science and Big Data Technologies · lab
Voir tous les documents en intelligence artificielle et donnéesTous les cours en intelligence artificielle et données
Fiche de révisionGuide de TP
Rédigée à partir de ce document, puis vérifiée avant publication.
Ce laboratoire présente une introduction complète au Big Data, ses caractéristiques, ses enjeux et ses applications. Il permet de comprendre les concepts fondamentaux du Big Data, notamment les 5 dimensions clés (5Vs), ainsi que les technologies associées comme Hadoop et MapReduce. Ce TP est destiné aux étudiants souhaitant acquérir une vision globale du Big Data, ses défis techniques et ses usages dans différents secteurs. Aucun matériel spécifique n’est requis, mais une connaissance de base en informatique et en gestion de données est recommandée.
Le Big Data désigne l’ensemble des technologies, architectures, outils et procédures permettant de traiter et analyser de très grandes quantités de données hétérogènes et changeantes, souvent à un rythme très rapide. Ce concept a émergé autour de 2012 face à la croissance exponentielle des volumes de données générées par les entreprises et les individus, rendant les outils classiques insuffisants.
Le Big Data vise à extraire des informations pertinentes à un coût accessible, en captant et analysant des données variées, structurées ou non, provenant de multiples sources.
Un exemple simple illustre la problématique : un fichier de 1 To peut nécessiter plus de 3 heures pour être lu et traité sur un seul serveur. En divisant ce fichier en 100 blocs et en utilisant un traitement parallèle, le temps de lecture et de calcul peut être réduit à moins de 2 minutes et 1 minute respectivement.
Le Big Data se caractérise par cinq dimensions principales :
Des dimensions supplémentaires comme la variabilité et la visualisation sont parfois ajoutées, portant le nombre de « V » à 7 voire 10 selon les sources.
Pour gérer les volumes et la complexité des données, le Big Data repose sur plusieurs principes :
Le Big Data trouve des applications dans de nombreux domaines :
Les grandes entreprises du web ont été pionnières dans le traitement des données massives :
Ces technologies sont souvent intégrées dans des solutions open source, soutenues par la fondation Apache et utilisées par des acteurs majeurs comme IBM, Oracle ou Microsoft.
Nous sommes à l’ère de la production massive de données, générées par les applications, les réseaux de capteurs, les transactions, les médias et les individus. Le stockage seul ne suffit plus, car le temps d’accès augmente avec la quantité de données. Le Big Data propose des solutions basées sur la distribution et le traitement parallèle pour analyser efficacement ces données. Hadoop est la plateforme la plus répandue pour ces traitements, et constitue la base des technologies Big Data actuelles.