L’intelligence artificielle (IA) ouvre des perspectives formidables à l’industrie : une puissante aide à la décision, des performances optimisées, une qualité toujours contrôlée, etc. D’où les attentes enthousiastes qu’elle suscite dans les organisations. Cependant, ces drôles de machines qui apprennent à tirer des conclusions intelligentes à partir des données dont on les nourrit n’ont pas la faculté d’expliquer leurs décisions. Alors, comment leur faire confiance? Et comment les certifier pour qu’elles puissent faire l’objet d’un véritable déploiement industriel, en particulier dans les secteurs critiques, comme l’aérospatiale? Quelques-uns des nombreux chercheurs de Polytechnique actifs dans le domaine de l’IA nous éclairent sur les enjeux de sécurité rattachés à l’intelligence artificielle, plus précisément les systèmes d’apprentissage profond, en industrie.

Les P^rs Ettore Merlo, Foutse Khomh et Giuliano Antoniol, du Département de génie informatique et de génie logiciel (photo : Thierry du Bois)

Quand l’IA confond cochon et avion

À l’origine développé pour la reconnaissance d’images et le traitement du langage naturel, l’apprentissage profond se fraie maintenant un chemin dans de nombreux secteurs, dont la médecine, les véhicules autonomes ou l’aéronautique. Il repose sur des réseaux formés de plusieurs couches constituées de plusieurs milliers de neurones artificiels, à travers lesquelles se transmet l’information au cours du processus de décision.

« Aucun système d’apprentissage profond n’est infaillible », mentionne le P^r Ettore Merlo, expert en intelligence artificielle et en cybersécurité.

Par exemple, on peut duper un algorithme en glissant des données trompeuses dans les données classifiées utilisées pour l’entraîner, ou encore en manipulant une fraction des données d’apprentissage pour que le modèle « raisonne » ensuite autrement que prévu (« attaque par empoisonnement de données »). Un autre type de stratégie malveillante consiste à présenter à un modèle déjà entraîné des données imperceptiblement modifiées (« exemples adversariaux »). En modifiant quelques pixels seulement, il est ainsi possible de faire déduire à un algorithme qu’une image représente une toute autre chose que ce qu’elle figure réellement : un cochon au lieu d’un avion, par exemple, ou un singe au lieu d’un panda. « L’IA est pourtant convaincue qu’elle a la bonne réponse », souligne le P^r Merlo.

D’autres expériences ont montré qu’il suffit de modifier légèrement un panneau de signalisation par quelques taches ou traits pour que l’IA le confonde avec un autre.

Par ailleurs, un autre type d’attaque visant les systèmes d’apprentissage profond a pour objet de découvrir quelles données ont été employées pour entraîner les modèles. Dans les secteurs où la confidentialité des données est cruciale, comme le secteur médical, les conséquences peuvent être sérieuses.

Des questions d’ingénierie

« À l’heure actuelle, beaucoup d’outils d’IA, certes très prometteurs, n’ont pas encore franchi l’écart entre l’algorithme développé dans un laboratoire de recherche et l’application industrielle en entreprise », indique le P^r Merlo, qui élabore des stratégies pour renforcer la résistance des systèmes d’IA aux attaques. « Leur utilisation industrielle nécessite des méthodes pour tester, renforcer, garantir, voire certifier leur fiabilité et leur robustesse. Et cela pose des questions qui sont spécifiquement des problèmes d’ingénieurs ! Comment mesurer la conséquence et le risque d’une mauvaise décision? Comment évaluer un produit? Comment garantir que le système d’IA est fonctionnel et capable d’évoluer dans l’espace encadré et normatif propre à l’industrie? Et, le cas échéant, quelle intervention peut-on faire pour élargir les limites de fonctionnement qui pourraient se manifester durant les tests ? »

Avec la richesse de ses expertises et l’intensité de ses activités liées à l’intelligence numérique, Polytechnique est en bonne place pour travailler à ces questions et contribuer à combler la lacune entre la recherche algorithmique et la réalisation de systèmes capables de fournir des services sécuritaires, fiables, non altérables et robustes à l’industrie.

Une « IRM » pour l’IA

Pour évaluer la capacité d’un système à fournir les bonnes réponses, l’équipe du P^r Merlo développe une approche qui s’intéresse aux niveaux de sollicitation des neurones impliqués dans la décision. « C’est un peu comme si nous réalisions une IRM du réseau neuronal de la machine, explique le chercheur. Nous remarquons que ce ne sont pas exactement les mêmes zones du réseau qui s’activent selon que le raisonnement est erroné ou correct. Les cas d’erreur impliquent l’intervention inhabituelle de certains neurones. Nous avons bâti un modèle statistique des régions d’activation des neurones. Lorsque le profil d’activation neuronale d’un système s’éloigne de ce modèle, cela indique la présence d’un raisonnement anormal à rejeter. »

Les résultats expérimentaux sont très encourageants : ils montrent un pourcentage d’élimination des erreurs situé entre 70 et 100 %. « On peut envisager d’associer cette approche de détection de mauvais raisonnement à un système d’alerte : quand l’activation neuronale de l’IA montrerait que celle-ci est à risque de faillir, le système enverrait une requête pour que la décision soit confiée à un humain. Par exemple, le pilote d’une voiture autonome serait averti qu’il doit reprendre le volant », poursuit Ettore Merlo.

Vers la possibilité de certification

En ingénierie, un concept est fondamental pour toute analyse d’un processus : l’explicabilité. « Quand on trouve une erreur dans un processus, on veut en connaître la cause. Mais lorsqu’il fait une erreur dans un raisonnement, un système d’IA n’est généralement pas capable d’en expliquer la raison, à cause de la complexité de ses réseaux neuronaux. Or, la nécessité de pouvoir faire certifier des systèmes d’IA par les organismes de réglementation, comme l’exige la sécurité dans les secteurs critiques, implique non seulement leur robustesse, mais aussi leur aptitude à prendre des décisions prévisibles et donc explicables », signale le P^r Merlo.

Celui-ci mène des travaux sur la construction de modèles explicables, en collaboration avec des collègues du Département de génie informatique et génie logiciel : le P^r Foutse Khomh, titulaire de la Chaire en IA Canada-CIFAR sur les systèmes logiciels d'apprentissage automatique dignes de confiance et de la Chaire FRQ-IVADO en assurance qualité des logiciels d’apprentissage automatique, et le P^r Giuliano Antoniol. Ces chercheurs se consacrent également au développement de méthodes de mesure et d’augmentation de la robustesse utilisables en industrie.

Tous trois participent au grand projet DEEL (« DEpendable Explainable Learning » en anglais, ou « intelligence artificielle explicable et robuste ») lancé par les gouvernements du Québec et du Canada en partenariat avec le Consortium de recherche et d’innovation en aérospatiale au Québec (CRIAQ) et un consortium d’entreprises québécoises et françaises. Leur objectif : mettre au point des méthodes permettant de certifier des systèmes d’IA destinés à soutenir l’industrie aérospatiale.

Alors que le P^r Merlo base son approche sur la vraisemblance statistique des résultats fournis par les systèmes d’apprentissage profond, ses deux collègues s’intéressent à la compatibilité de ces résultats avec les lois de la physique régissant le domaine aéronautique.

« Si l’on souhaite apporter des changements à la conception d’un appareil, il faut pouvoir en prédire l’impact sur les propriétés de celui-ci, sa stabilité, par exemple. Les concepteurs doivent chaque fois modéliser l’ensemble de l’appareil. Avec l’IA, il serait plus rapide et beaucoup moins coûteux d’évaluer les conséquences de nouveaux choix de conception », explique le P^r Foutse Khomh.

« Notre approche implique d’abord de définir l’enveloppe opérationnelle – c’est-à-dire l’ensemble d’hypothèses – à l’intérieur de laquelle le modèle fonctionne de façon fiable et robuste; ensuite, d’explorer le mécanisme de décision du modèle et de s’assurer que ses réponses aux différentes requêtes incluses dans l’enveloppe sont celles attendues. À partir de cela, nous démontrons que les réponses du modèle continuent à respecter certaines propriétés même si le modèle rencontre d’autres données que celles comprises dans l’enveloppe. Ce serait utopique de s’attendre à ce qu’on puisse généraliser la bonne réponse du modèle à toutes les données. Nous devons définir une zone acceptable de données s’éloignant de la distribution de départ, dans laquelle le modèle continue à se comporter correctement. Nos modèles ne prétendront pas pouvoir tout faire, mais devront pouvoir fournir des résultats fiables sur ce dont ils sont capables . »

L’équipe du P^r Khomh réalise également des stratégies pour contraindre l’entraînement des modèles à respecter les propriétés des phénomènes physiques permettant de faire voler des avions, et d’autres visant la mise à jour des modèles dans le temps. « Certaines de nos approches visent à pouvoir apporter des ajustements dans les paramètres du modèle sans nécessiter un réentraînement complet, très coûteux », indique le chercheur.

Et de préciser : « Certifier ne se résume pas à assurer la robustesse d’un modèle, c’est aussi garantir la fiabilité du processus qui a permis son développement. L’entreprise doit démontrer qu’elle a mis en place toutes les meilleures pratiques pour que le produit respecte les propriétés spécifiées. C’est-à-dire assurer que le modèle a été bien spécifié pendant la phase d’entraînement, que les données ont été traitées de façon adéquate et qu’il n’y a pas eu de faute de conception. En outre, il faut pouvoir tester le modèle tout au long de son cycle de vie. Pour cette raison, mon équipe a créé un cadriciel logiciel pour le débogage et le test des systèmes d’IA afin de soutenir le développement d’un modèle depuis sa phase de conception jusqu’à son déploiement. La certification est encore loin, mais nous franchissons des étapes essentielles en démontrant qu’on peut fournir certaines garanties formelles sur le comportement d’un composant d’IA. »

Vision globale

Le P^r Giuliano Antoniol, spécialiste en développement d’outils pour la planification, la gestion et la mise en œuvre des modifications de logiciels, rappelle qu’un des grands défis de la certification des composantes d’IA réside dans l’absence de traçabilité :

« Dans le développement d’un logiciel traditionnel, on se base sur un document appelé requis, qui détermine toutes les fonctionnalités à implanter et tout le processus, de la conception jusqu’à la production de l’exécutable. Tout ce qui est prévu dans le requis doit être implanté dans le logiciel final, tout ce qu’on retrouve dans le logiciel doit être prévu dans le requis. Il y a donc une traçabilité de chaque élément, de chaque code exécutable, comme l’exige la certification. Mais cette règle ne peut pas s’appliquer à des composantes d’IA, dont le développement n’utilise pas de requis, mais des données. Comment introduire la certification dans ce nouveau paradigme ? C’est un problème difficile et super intéressant, car, dans les secteurs critiques, on vise une probabilité d’accident inférieure à 1/1017. Les tests sur entrées et sorties ne suffisent pas pour obtenir un tel niveau de fiabilité. On jumelle donc des approches différentes et complémentaires. »

Son équipe développe donc des solutions en associant diverses approches : dispositifs considérant les données entrantes pour prédire de façon automatique les données sortantes, approches probabilistes, transformations métamorphiques, etc.

« À un niveau pratique, nous commençons à entrevoir comment vérifier la fiabilité de la machine, mais cela exige encore beaucoup de réflexion et d’outils mathématiques et informatiques pour s’assurer que les résultats seront toujours cohérents », évoque le P^r Antoniol.

Un point essentiel est d’avoir une vision globale de l’enjeu de la certification, considère ce dernier. « Il faut viser à pouvoir certifier non seulement chaque composante, mais aussi la façon de fonctionner de l’ensemble des systèmes. Une IA fonctionnelle ne garantira pas que tout le système fonctionnera. Il y a aussi l’environnement social à prendre en compte, avec ses règles et ses attentes. »

L’IA au service de la sécurité

L’IA ne fait pas que présenter des enjeux de sécurité, elle peut aussi apporter un puissant renfort à la sécurité des systèmes d’information.

On retrouve ici le P^r Ettore Merlo, dont certains projets ont pour objet la détection automatique de fichiers malicieux dans des applications ou de comportements anormaux de logiciels : « Une machine peut apprendre les schémas opératoires utilisés par les logiciels malveillants. En faisant une généralisation des attaques, elle est capable de reconnaître un comportement proche de ce qu’elle a appris. »

Avec son équipe, il met au point des solutions contre les attaques par hameçonnage. « Nous ne nous intéressons pas seulement au contenu des courriels. Nous analysons les serveurs avec nos outils d’IA afin d’y repérer des codes sources malveillants. Le maliciel que nous utilisons pour entraîner ces outils représente 180 millions de lignes de code, soit à peu près l’équivalent d’une pile de livres d’une hauteur atteignant les trois quarts de l’immeuble de la Place Ville Marie ! »

Les modèles d’IA conçus par l’équipe du P^r Merlo sont en mesure de repérer les variations entre les fichiers frauduleux qu’on retrouve d’un serveur à l’autre. « Pour limiter leurs efforts, les pirates hameçonneurs emploient souvent des modifications légères de fichiers malveillants existants. Le travail réalisé avec nos modèles consiste à faire une sorte d’analyse "génétique" des codes sources pour établir une filiation entre les fichiers malveillants et remonter jusqu’au maliciel de départ », explique celui-ci. Son équipe a récemment collaboré avec IBM et l’Université d’Ottawa pour la détection de kits d’hameçonnage qui peuvent être logés frauduleusement dans des serveurs web afin de récupérer des informations privées, comme des identifiants personnels ou des numéros de cartes de crédit.

« Nos outils et nos expertises nous permettraient d’aller plus loin encore que la détection automatique de vulnérabilités dans les codes des systèmes web : nous pourrions développer des systèmes qui soient aussi en mesure de procéder automatiquement aux réparations des programmes, de façon à soulager la tâche des développeurs. Ce qui nous freine ? Le manque d’étudiants au doctorat. J’ai beaucoup plus de projets à confier que d’étudiants pour les réaliser. » Un constat partagé par tous ses collègues actifs dans le domaine de l’IA. Il est difficile de retenir les étudiants compétents à l’université pour qu’ils se consacrent à la recherche quand les entreprises font des pieds et des mains pour les recruter, avec des offres extrêmement alléchantes.

Détection de méthane

Un autre projet conjoint des P^rs Merlo et Khomh illustre l’utilisation avantageuse des outils d’IA en sécurité environnementale; ce projet donne lieu à une collaboration entre l’entreprise canadienne GHGSat, un chef de file mondial de la surveillance des émissions de gaz à effet de serre en haute résolution depuis l'espace, INO, le plus important centre canadien d'expertise en optique-photonique, Polytechnique et le CRIAQ. Il vise à concevoir un outil d’IA qui aiderait les opérateurs de GHGSat à détecter des émissions de méthane – un gaz dont l'effet réchauffant est 84 fois supérieur à celui du CO2.

Les satellites et le système aéroporté de GHGSat envoient continuellement une grande quantité d'images au sol, qui ne fera qu’augmenter dans les prochaines années avec l’ajout de nouveaux équipements. Ces images sont analysées individuellement par des opérateurs spécialisés. L'outil d’IA leur permettrait de repérer automatiquement sur ces images les régions montrant une émission potentielle de méthane, tout en éliminant les régions qui n’en émettent pas. L’outil servira à optimiser le traitement des images, libérant ainsi les opérateurs pour qu’ils se concentrent sur les cas difficiles.

Sécurité des objets communicants

La P^re Gabriela Nicolescu, du Département de génie informatique et de génie logiciel

L’IA est appelée à jouer également un rôle-clé dans les enjeux de sécurité liés à l’Internet des objets, confirme la P^re Gabriela Nicolescu, une experte en conception des systèmes embarqués sécurisés au Département de génie informatique et génie logiciel.

Celle-ci s’intéresse à l’intégration de dispositifs d’IA dans les objets connectés, tels que les drones, les autos ou les téléphones cellulaires. « Il peut s’agir de composantes logicielles ou matérielles pour surveiller le fonctionnement de l’objet. Elles seront capables de détecter des comportements anormaux et d’envoyer des signaux avertissant qu’il se produit une anomalie, signe d’une possible attaque », explique-t-elle.

Cela n’est pas exempt de défis : « Mon équipe emploie des composantes d’intelligence artificielle destinées à être embarquées dans des systèmes miniaturisés. Ces composantes sont conçues sous contraintes, car les objets connectés disposent de ressources bien plus limitées qu’un serveur en termes de mémoire, de consommation énergétique, de temps d’exécution, et bien sûr, de coûts. »

Tel l’enfant qui criait au loup, une IA qui enverrait trop d’avertissements non justifiés engendrerait des cas où les vraies attaques finiraient par être ignorées. « Un de nos enjeux est donc d’établir une méthode éliminant les risques de faux négatifs ou positifs », ajoute la P^re Nicolescu, dont l’équipe développe également des mesures de protection des données à intégrer afin d’en préserver l’intégrité et la confidentialité. « Certains de nos travaux visent à assurer le respect de toutes les réglementations, et qu’un essaim de drones puisse être utilisé selon la réglementation en vigueur », ajoute-t-elle.

IA et photonique

Des projets à plus long terme de Gabriela Nicolescu explorent l’implantation de l’IA à l’aide de technologies émergentes, telles que la photonique intégrée. « La photonique permettrait des gains de performance, en réduisant le temps de calcul et la consommation de puissance nécessaires à l’apprentissage des dispositifs d’IA. Il ne serait plus indispensable d’entraîner ceux-ci sur des serveurs. Mon équipe explore cette voie en prenant en compte l’aspect sécurité. »

La P^re Nicolescu se penche aussi sur l’apprentissage collaboratif des objets connectés. « Un ensemble d’objets qui partageraient leurs résultats d’apprentissage deviendrait plus performant. Par contre, l’aspect sécurité prend ici encore plus d’importance. Il faut s’assurer que seuls des objets authentifiés et de confiance soient autorisés à échanger leurs résultats. »  

Pour une IA et une société responsables

En menant leurs projets pour garantir la robustesse et la fiabilité des systèmes d’IA et l’explicabilité des décisions prises par ces systèmes, les chercheurs de Polytechnique conservent comme préoccupations premières d’apporter un avantage à l’ensemble de la société et de préserver la sécurité et la liberté des citoyens.

Tous les chercheurs interviewés dans ce dossier le soulignent : la question de la responsabilité occupe une place centrale dans le déploiement à grande échelle de l’IA en industrie. Si la certification et les normes qui se développeront pour encadrer ce déploiement permettront de garantir que les systèmes d’IA respectent les propriétés spécifiées et que leur utilisation est sécuritaire dans les milieux critiques, l’enjeu exige une réflexion sur l’acceptabilité sociale de ces systèmes.

« En tant que scientifique, je suis persuadé que nous trouverons des solutions sécuritaires répondant aux impératifs de performances techniques et économiques des entreprises », a souhaité conclure le P^r Giuliano Antoniol. Mais il faut que l’IA puisse être exploitée à des fins plus utiles que la vente de nouveaux produits ou services qui ne changeront pas la vie des gens. Il faut aussi se préoccuper du fait que certaines entreprises puissent récolter et exploiter des données personnelles des citoyens sans avoir à rendre de comptes à ce sujet.

« L’IA pose des dilemmes juridiques, éthiques, moraux, voire philosophiques. Nous devons réfléchir collectivement au modèle de société que nous voulons, à notre système de valeurs, en regardant vers l’avant. J’ai dédié ma vie à la technologie, mais les défis de la technologie m’importent moins que les défis de la société. Et je souhaite que nos étudiants et étudiantes héritent de cette vision. C’est pourquoi je souligne que notre mission n’est pas de leur enseigner l’informatique, mais de les éduquer à l’informatique. »