Programmes d'études

Détails et horaire du cours

Légende

  Cours de jour
  Cours de soir
  Cours en ligne
Certificats et microprogrammes de 1er cycle
Baccalauréat (formation d'ingénieur)
Études supérieures

INF6953PE

Deep Learning Dynamics

Nombre de crédits : 4 (3 - 3 - 6) Les chiffres indiqués entre parenthèses sous le sigle du cours, par exemple (3 - 2 - 4), constituent le triplet horaire.

Le premier chiffre est le nombre d'heures de cours théorique par semaine (les périodes de cours durent 50 minutes).
Le second chiffre est le nombre d'heures de travaux dirigés (exercices) ou laboratoire, par semaine.
(Note : certains cours ont un triplet (3 - 1.5 - 4.5). Dans ce cas, les 1,5 heure par semaine sont des laboratoires qui durent 3 heures mais qui ont lieu toutes les deux semaines. À Polytechnique, on parle alors de laboratoires bi-hebdomadaires).
Le troisième chiffre est un nombre d'heures estimé que l'étudiant doit investir de façon personnelle par semaine pour réussir son cours.
Département : Génies informatique & logiciel
Préalable(s) : INF8245E or equivalent.
Corequis : Aucun.
Notes :
Responsable(s) : Sarath Chandar Anbil Parthipan
Description
Deep Learning (DL) Review. Optimization for DL. Initialization. Neural Networks Loss Landscape. Implicit Regularization of Stochastic Gradient Descent (SGD). Sharpness Aware Minimization (SAM). Sharp minima and flat minima. Edge of Stability of Training. Geometric complexity. Normalization. Residual Connections. Double descent. Grokking. Lottery Ticket Hypothesis (LTH). Invariance. Pruning. Scaling and phase transitions. Understanding Transformers. Mode connectivity. Plasticity. Continual Learning.

Plan triennal

2025-2026 2026-2027 2027-2028
Automne Hiver Été Automne Hiver Été Automne Hiver Été
- Cours de jour - - - - - - -