Carrefour de l'actualité

Les algorithmes connaissent la musique!

Recherche

Par Catherine Florès
5 octobre 2021 - Source : Magazine Poly  | VersionPDFdisponible (Automne 2021)
5 octobre 2021 - Source : Magazine Poly
VersionPDFdisponible (Automne 2021)

Obtenir automatiquement la transcription en tablature d’un morceau de musique joué par un guitariste, beaucoup de musiciens en rêvent.
 

Mark Asmar


Ingénierie mélomane

Mark Asmar réalise sa maîtrise en génie informatique au Laboratoire d'interprétation et de traitement d'images et vidéo (LITIV), sous la codirection de la Pre Lama Seoud et du Pr Guillaume-Alexandre Bilodeau. Lui-même guitariste, il a décidé de consacrer son projet de maîtrise au développement d’une technologie capable d’analyser des images vidéo d’une interprétation à la guitare et de les transcrire de façon automatique en tablature.

Souvent préférée aux partitions par les guitaristes, la tablature est un système de notation musicale simplifié qui indique la position des doigts sur le manche de l’instrument pour jouer un morceau. Sa lecture, qui ne nécessite pas la connaissance du solfège, est assez aisée. Mais transcrire manuellement une musique en tablature s’avère fastidieux. La seule audition du morceau est souvent insuffisante pour déterminer où doivent exactement se positionner les doigts sur le manche.

Le projet de Mark Asmar, intitulé « Suivi 3D de la main humaine pour la reconnaissance musicale sur guitare », consiste à entraîner des réseaux de neurones artificiels ainsi qu’à utiliser des algorithmes de traitement d’images afin qu’ils soient capables de reconnaître les positions respectives du manche de guitare et des doigts des guitaristes, ainsi que de transcrire ces données en notations de tablature.

Caméras 3D et neurones artificiels

« Notre système doit pouvoir isoler les images de manche de la guitare, reconnaître quelle corde vibre, et enfin estimer la position de la main pour déduire quelles frettes, c’est-à-dire les barres sur le manche de la guitare, sont pressées », précise l’étudiant, qui a recours à des caméras 3D dans le développement du système. « Nous devons aussi choisir les meilleurs modèles de vision par ordinateur pour traiter ces trames vidéo », ajoute-t-il. « Grâce aux données ainsi collectées, nous pourrons entraîner un modèle d’apprentissage machine. Notre stagiaire, Renato Castillo, qui est étudiant au baccalauréat, travaille quant à lui sur le volet annotation semi-automatique des images. »

Une réelle complexité

Faute d’une collection de données utilisables, l’équipe doit bâtir sa propre base d’images montrant comment des guitaristes placent leurs mains sur le manche de leur instrument pour construire le réseau de neurones capable de segmenter les images d’un manche de guitare. « Autre défi, il est difficile pour des caméras 3D de détecter les vibrations des cordes. Il nous faut donc développer une méthode pour y parvenir », ajoute Mark Asmar.

Celui-ci précise que l’outil à venir ne prendra pas en compte différentes techniques de jeu pratiquées par des guitaristes telles que le « bending », le « tapping » ou le « legato », par exemple. « Notre but, pour le moment, est de concevoir un système pour réaliser une transcription précise à partir de vidéos. » Si ce système s’avère suffisamment robuste, il pourrait à l’avenir devenir un outil apprécié des apprentis guitaristes. Si certaines personnes possèdent l’oreille musicale, ce système, lui, a la musique à l’œil!

Vous jouez de la guitare et souhaitez encourager ce projet? Vous pouvez fournir du matériel photo ou vidéo à l’équipe de recherche pour lui permettre de constituer une base de données d’images suffisamment étoffée : informations

À lire aussi

6 juillet 2005
NOUVELLES

Djangology Un premier CD de Jazz pour le professeur Christian Cardinal

2 novembre 2011
NOUVELLES

Le Pr Raman Kashyap participe à la mise au point d'une application novatrice de la fibre optique en musique