Fiche de révision – Cours 1 : Introduction to Big Data
Oct 14, 2026 · @Héloïse
Le big data, ce sont des données trop grosses, trop variées, trop rapides ou trop peu fiables pour un seul serveur : on les stocke et on les traite sur un cluster avec Hadoop.
Hadoop 2 : chaque outil s’appuie sur YARN et HDFS
| Couche / rôle | Outils et contenu |
|---|---|
| Analyse | Hive = SQL (HiveQL) · Pig = scripts<br>Mahout = machine learning · Solr = recherche |
| Traitement | MapReduce = calcul sur disque<br>Spark = calcul en mémoire, plus rapide |
| Gestion des ressources | YARN = gestion des ressources (Hadoop 2)<br>ResourceManager : un seul, global<br>ApplicationMaster : un par application |
| Stockage | HDFS = stockage<br>Blocks répliqués 3 fois · NameNode + DataNodes<br>HBase = base NoSQL posée sur HDFS |
| Coordination | ZooKeeper : configuration, synchronisation<br>Oozie : workflows |
| Ingestion | Sqoop : bases SQL<br>Flume : logs<br>Kafka : messages |
La pile Hadoop 2 : 4 couches + ingestion et coordination.
YARN, au centre, est ce qu’ajoute Hadoop 2 : tout ce qui calcule passe par lui, et tout repose sur HDFS.
Les 4 V
| V | Sens | Mots-clés du cours |
|---|---|---|
| Volume | Combien | Automatically generated, manually created |
| Variety | Quels types | Structured, unstructured |
| Velocity | À quelle vitesse | Speed of generation, rate of analysis |
| Veracity | Est-ce fiable | Untrusted, uncleansed, unclear |
Scaling et speed-up
- Scale up = une machine plus grosse : facile, mais limité par le coût et la physique.
- Scale out = plus de machines : rentable à grande échelle, mais l’application doit s’adapter.
- Speed-up = Time serial ÷ Time parallel ≤ nombre de cœurs (120 s → 30 s sur 6 cœurs = 4).
Data warehouse vs data lake
| Warehouse | Lake | |
|---|---|---|
| Données | Structurées, traitées | Brutes, tous formats |
| Schéma | On write | On read |
| Coût | Cher | Peu cher |
| Agilité | Rigide | Très agile |
| Sécurité | Mature | Maturing |
| Utilisateurs | Business professionals | Data scientists |
NoSQL
- Pas de tables ni de SQL ; gagne scalability + availability, sacrifie atomicity + consistency.
- BASE : Basic availability (toujours une réponse), Soft state (l’état bouge seul), Eventual consistency (cohérent à terme).
Hadoop
- HDFS stocke (blocks ×3 ; NameNode = où, DataNodes = quoi). MapReduce calcule, YARN gère les ressources.
- Data locality (le calcul va aux données), share nothing, write once read many.
- Input ×2 = 2× plus lent ; cluster ×2 = 2× plus rapide.