Séminaire en format hybride au local 4488 du GERAD ou Zoom.

La présentation sera donnée en anglais.

Dans le cadre de cette présentation, nous nous intéressons la recherche du minimum d'une fonction continue quelconque (a priori non-convexe). Ce cadre couvre de nombreuses applications, entre autre l'entraînement de réseaux de neurones profonds, pour lequel des architectures matérielles pour le calcul en basse précision ont été développées. Effectuer des calculs en basses précisions, c'est à dire avec des représentations machine des nombres sur peu de bits d'information, permet d'économiser de l'effort de calcul mais induit plus d'erreurs.

Nous présenterons, dans le cas déterministe, un algorithme de descent de gradient avec pas adaptatif, l'algorithme de Régularisation Quadratique (R2), et comment il peut être étendu en une version Mutli-Précision (MPR2) pour tirer avantange de la disponibilité de plusieurs niveaux de précision de calcul. L'idée derrière MPR2 est d'adapter dynamiquement le niveau de précision des calculs afin d'économiser de l'effort de calcul, tout en maîtrisant les erreurs de calcul afin de garantir la convergence vers un minimum.

Nous metterons en évidence quelques un des pièges liés à l'utilisation de la précision variable et comment l'implémentation de MPR2 les prends en comptes. Nous illustrerons finalement les résultats de MPR2 obtenus sur une banque de problèmes.