Christopher Pal, professeur agrégé et chercheur au Département de génie informatique et génie logiciel de Polytechnique, fait état des résultats de diverses recherches en intelligence artificielle à l’occasion de la plus importante conférence qui soit consacrée à la neuroscience computationnelle et à l’apprentissage machine. Il est à noter que les quatre articles dont le professeur Pal est co-auteur font partie des 1 010 articles ayant été retenus parmi 4 854 propositions dans le cadre de la conférence NeurIPS 2018.

Génération de texte avec des contours neuronaux acquis de manière défavorable

En premier lieu, Christopher Pal est co-auteur de l’article intitulé « Towards Text Generation with Adversarially Learned Neural Outlines », avec les co-auteurs Sandeep Subramanian, Sai Rajeswar Mudumba, Alessandro Sordoni, Adam Trischler et Aaron Courville.

Cet article propose la combinaison de deux modèles génératifs profonds, soit des modèles autorégressifs et des modèles accusatoires, aux fins de l’apprentissage des modèles génératifs de texte. Une méthode proposée produit d’abord un contour de phrase de haut niveau, puis génère des mots de manière séquentielle, conditionnant à la fois le contour et les sorties précédentes. Des contours sont générés avec un modèle accusatoire formé pour approximer la distribution des phrases dans un espace latent induit par les codeurs de phrases à usage général, ce qui fournit un conditionnement fort et informatif pour le stade autorégressif.

Rétro-inspection attentive clairsemée : affectation de crédit temporelle par rappel

Également, le professeur Pal est co-auteur de l’article « Sparse Attentive Backtracking: Temporal Credit Assignment Through Reminding », avec les co-auteurs Nan Rosemary Ke, Anirudh Goyal, Olexa Bilaniuk, Jonathan Binas, Michael Mozer et Yoshua Bengio.

En considérant l'hypothèse selon laquelle des associations de mémoire entre le passé et le présent chez les humains pourraient être utilisées pour l'attribution de crédits via des séquences arbitrairement longues, propageant ainsi le crédit affecté à l'état actuel à l'état passé associé, les co-auteurs de l’article étudient un nouvel algorithme qui ne se propage en retour que par quelques-unes de ces connexions à saut temporel, par l’entremise d’un mécanisme d’attention appris qui associe des états actuels à des états antérieurs pertinents.

Estimation de profondeur non supervisée, rotation et remplacement d’un visage en trois dimensions

D’autre part, Christopher Pal est co-auteur de l’article intitulé « Unsupervised Depth Estimation, 3D Face Rotation and Replacement », avec les co-auteurs Joel Rube, Antony Moniz, Christopher Beckham, Simon Rajotte et Sina Honari.

L’article traite d’une approche non supervisée d’apprentissage de l’estimation de la structure faciale tridimensionnelle à partir d'une seule image, tout en prévoyant des transformations de points de vue 3D qui correspondent à une pose et à une géométrie faciale souhaitées. Cet apprentissage est réalisé par une déduction de la profondeur des points essentiels du visage d'une image d'entrée de manière non supervisée, sans utilisation d’aucune forme d'information de profondeur de terrain.

Vers des recommandations conversationnelles profondes

Enfin, Christopher Pal est co-auteur de l’article « Towards Deep Conversational Recommendations », avec les co-auteurs Raymond Li, Samira Ebrahimi Kahou, Hannes Schulz, Vincent Michalski et Laurent Charlin.

L’article porte sur deux contributions à la recherche en matière de recommandation conversationnelle, où des systèmes de dialogue fondés sur l'utilisation de réseaux de neurones et de techniques d'apprentissage en profondeur servent à l'exploration scientifique du dialogue avec le langage naturel. La première contribution consiste en un ensemble de données, constitué de plus de 10 000 conversations centrées sur le thème des recommandations de films, qui est mis à la disposition de la communauté aux fins de recherches plus poussées. La deuxième contribution consiste en l’utilisation de l’ensemble de données pour explorer plusieurs facettes des recommandations de conversation, notamment par l’exploration de nouvelles architectures, mécanismes et méthodes neuronaux qui sont adaptés à la composition de systèmes de recommandation conversationnels.
 

Christopher Pal, professeur agrégé au Département de génie informatique et génie logiciel de Polytechnique Montréal. 
 

En savoir plus

Fiche d’expertise du professeur Christopher Pal
Site du Département de génie informatique et génie logiciel de Polytechnique Montréal
Site de la conférence NeurIPS 2018 (en anglais)
Vidéo explicative de l’article « Towards Deep Conversational Recommendations » (en anglais)