Calcul Parallèle et Distribué (CPD)

Enseignant Responsable : Yosr SLAMA

Niveau d'enseignement visé : 1 [ère] année de mastère BADs

Discipline : Informatique – Data Science

Durée de la formation : 21H de cours intégré pendant le semestre 1 de l’année universitaire 2019-2020

Modalité d’enseignement : hybride (3H en présentiel et 18H à distance)

Pré-réquis : connaissances basiques en algorithmique et programmation et en architecture des ordinateurs

Ressources à utiliser : Supports de cours, pages et sites web, documents pdf, etc.

Coordonnées et disponibilité : Yosr SLAMA. Email : [email protected]. Disponible sur rdv par email ou message sur la plateforme d’enseignement à distance.

Résumé du cours : Le calcul dit de haute performance (CHP) ou intensif (CI) s’impose de plus en plus de nos

jours dans le monde de la recherche et de l’industrie. Ses prémisses ont été à l’origine de la naissance des machins parallèles afin de répondre aux demandes sans cesse croissantes des grandes applications scientifiques en puissance de calcul. Ce module se propose de présenter, en premier lieu, une description succincte des

principaux systèmes matériels actuels, et ce, à travers une analyse de leurs architectures et de leurs performances. Suit alors l'étude approfondie du calcul parallèle des points de vue algorithmique et programmation. On focalisera en particulier sur les principales techniques et paradigmes pour (i) la conception et l’analyse d'algorithmes parallèles efficaces, et (ii) la parallélisation automatique de certains programmes dits polyédriques (i.e. structurés en nids de boucles).

Objectifs généraux :

- Motivation et sensibilisation à l'importance du parallélisme

- Etude des architectures parallèles

- Familiarisation avec les fondements de base de la programmation parallèle

- Détection du parallélisme dans les programmes séquentiels

- Conception des algorithmes parallèles

- Etude de langages et environnements parallèles

Plan sommaire :

Introduction générale au calcul parallèle ou parallélisme
Architectures parallèles
Fondements de base de de la programmation parallèle
Parallélisme de tâches et ordonnancements parallèles dans un environnement

homogène

Ordonnancements parallèles dans un environnement hétérogène
Parallélisation automatique des programmes polyédriques (nids de boucles)
Outils et environnements de programmation (OpenMP, MPI, etc.)

Références bibliographiques :

[1] J. M. Bahi, S. Contassor-Vivier & R. Couturier, Parallel Iterative Algorithms, Chapman &

Hall/CRC Press, 2008. [2] T.H. Cormen & al, Introduction à l'Algorithmique, Dunod, 2010. [3] M.Cosnard & D. Trystram, Algorithmes et Architectures Parallèles, InterEditions, 1993. [4] A. Darte, Y. Robert & F. Vivien, Scheduling and Automatic Parallelization, Birkhauser, 2000. [5] H. El-Rewini & M. Abd-El-Barr, Advanced Computer Architecture and Parallel Processing,

Wiley, 2005. [6] M. Gengler, S. Ubeda & F. Desprez, Initiation au Parallélisme - Concepts, Architectures et

Algorithmique, Masson, 1996. [8] A.L. Lastovetsky, Parallel Computing on Heterogeneous Networks, Wiley, 2003 [9] A. Legrand & Y. Robert, Algorithmique Parallèle, Dunod, 2003. http://graal.ens-lyon.fr/~yrobert/index.html#70 [10] F. Magoulès, J. Pan, K.A. Tan & A. Kumar, Introduction to Grid Computing, CRC Press, 2009. [11] M. Wolfe, High Performance Compilers for Parallel Computing, Addison-Wesley, 1996. [13] http://www.top500.org