Introduction aux Big Data
Introduction aux Big Data
Information Systems and Data Management · notes
Fiche de révisionRésumé
Rédigée à partir de ce document, puis vérifiée avant publication.
Cette introduction aux Big Data présente les concepts fondamentaux et les enjeux liés à la gestion des données massives. Elle s'inscrit dans un cours de management des systèmes d'information et vise à familiariser les étudiants avec les caractéristiques, les défis et les approches traditionnelles et innovantes pour exploiter ces données.
Chaque jour, nous générons environ 2,5 trillions d’octets de données. Plus de 90 % des données mondiales ont été créées au cours des deux dernières années, et 90 % de ces données sont non structurées. Ces données proviennent de sources variées telles que les capteurs climatiques, les messages sur les réseaux sociaux, les images et vidéos en ligne, les enregistrements transactionnels d’achats en ligne, ou encore les signaux GPS des téléphones mobiles. Ces ensembles de données sont qualifiés de Big Data ou données massives.
Les Big Data jouent un rôle crucial dans la prise de décision en entreprise. Pourtant, 83 % des chefs d’entreprise prennent des décisions basées sur des informations en lesquelles ils n’ont pas confiance ou auxquelles ils n’ont pas accès. De plus, 60 % des directeurs des systèmes d’information (DSI) considèrent que l’informatique décisionnelle et analytique est essentielle pour améliorer la compétitivité. Les PDG cherchent à améliorer la capture et la compréhension des informations pour accélérer leurs décisions.
Les sources de données multiples, issues de sites web, bases de données, téléphones ou serveurs, permettent de :
Les principaux défis liés aux Big Data sont :
Les données massives se caractérisent par cinq dimensions essentielles, appelées les 5 V :
Le coût du stockage des données a fortement diminué ces dernières décennies, passant de 100 000 $ par Go en 1980 à 0,10 $ par Go en 2013. Cependant, les infrastructures fiables comme les réseaux de stockage SAN peuvent rester coûteuses. Il est donc nécessaire de choisir quelles données stocker, en tenant compte de leur sensibilité et de leur utilité. Par exemple, les logs peuvent sembler inutiles mais s’avèrent souvent très précieux. La question centrale est de déterminer quelles données méritent d’être conservées : transactions, logs, données métier, données utilisateurs, données médicales ou sociales. Aucune donnée n’est inutile, certaines n’ont simplement pas encore trouvé d’usage.
Les données doivent souvent respecter un format prédéfini pour être stockées dans des bases ou entrepôts de données. Pourtant, la majorité des données existantes sont non structurées ou semi-structurées. On trouve ainsi des données sous plusieurs formats et types. Par exemple, dans un centre d’appel, une discussion peut être stockée sous forme textuelle pour analyser le contenu, mais aussi sous forme d’enregistrement audio pour interpréter le ton de voix. Certaines données paraissent obsolètes mais sont utiles pour certaines décisions complexes, comme le transport de marchandises où plusieurs facteurs (GPS, plan de livraison, circulation, chargement, niveau d’essence) doivent être pris en compte.
La vitesse concerne la rapidité d’arrivée des données et leur traitement. Les données doivent parfois être stockées dès leur arrivée, ce qui peut représenter plusieurs téraoctets par jour. Un exemple concret est la recommandation personnalisée dans le commerce en ligne : savoir non seulement quel article un client a acheté, mais aussi combien de temps il a passé à le consulter, permet d’envoyer un email promotionnel au moment opportun. Ne pas traiter ces données en temps réel peut entraîner une perte d’informations précieuses.
La véracité fait référence à la qualité et à la fiabilité des données. Avec l’augmentation du volume, la qualité peut se dégrader à cause d’abréviations, de fautes de frappe, de déformations ou de sources peu fiables. Les solutions Big Data doivent compenser ces défauts en s’appuyant sur la masse de données disponibles. Cela nécessite une grande rigueur dans la collecte, le recoupement, le croisement et l’enrichissement des données afin de réduire l’incertitude et de respecter les cadres légaux, garantissant ainsi la confiance, la sécurité et l’intégrité des données.
Le V le plus important est la valeur. Il s’agit de transformer toutes les données en informations exploitables. Sans valeur, les données sont inutiles. L’objectif est d’atteindre des buts stratégiques en créant de la valeur pour les clients et pour l’entreprise dans tous les domaines d’activité.
L’approche traditionnelle est guidée par les besoins métier. Le responsable métier définit les questions à poser, puis l’informatique conçoit une solution avec des structures et fonctionnalités adaptées. Le responsable métier exécute ensuite les requêtes pour répondre à ces questions de manière répétitive. Cette approche convient aux données structurées, aux processus répétitifs, aux sources stables et aux besoins bien définis.
En revanche, l’approche Big Data est orientée par les sources d’information disponibles, qui guident la découverte créative. Le responsable métier et l’équipe IT identifient les sources de données, puis explorent les données et leurs relations pour formuler de nouvelles questions. L’IT fournit une plateforme permettant cette exploration créative de toutes les données disponibles, intégrant parfois des technologies traditionnelles.
Il ne s’agit pas de choisir entre approche classique et Big Data, mais plutôt de les faire fonctionner ensemble. L’entrepôt de données traditionnel et la plateforme Big Data doivent être intégrés pour exploiter au mieux les sources traditionnelles et nouvelles.
| Approche Traditionnelle | Approche Big Data |
|---|---|
| Analyse structurée et répétée | Analyse itérative et exploratoire |
| Responsables métier déterminent les questions à poser | Responsables métier explorent la plateforme pour définir les questions |
| Responsables IT structurent les données pour répondre aux questions | Responsables IT fournissent une plateforme pour la découverte créative |