Enjeux sécurité de l’IA dans les machines

Le but de cette présentation est de montrer l'implication de l'IA (Intelligence Artificielle) sur la sécurité des machines. Ici, IA signifie "machine learning" : un système non pas programmé mais entraîné.
Depuis quelques années, les systèmes intègrent l'IA, principalement pour les applications de vision par ordinateur. Pour les machines conventionnelles (sans IA), un ingénieur en automatisation analyse, fixe des limites, spécifie, écrit et configure le comportement de la machine. Chaque étape du processus de conception est vérifiable, explicable ...Lisible ! Comment expliquer le comportement d'une machine intelligente, qui utilise un réseau de neurones artificiels pour prendre des décisions ?
Une machine conventionnelle a un comportement déterministe. Cela signifie que les mêmes données d'entrée produisent les mêmes données de sortie. Le fait d'être déterministe pour une machine intelligente met en évidence deux problèmes : Le premier est la complexité : il est difficile de soumettre deux fois le même ensemble de données d'entrée. Le second est l'apprentissage. L'IA forge son comportement grâce à son expérience ; soumettre deux fois un ensemble d'entrées à un réseau de neurones artificiels change son comportement. La logique intelligente n'est pas déterministe.
L'absence de déterminisme soulève des questions sur la capacité à garantir la sécurité concernant les machines intelligentes. La sécurité concernant les machines conventionnelles est garantie en séparant physiquement les fonctions de production des fonctions de sécurité. Une mauvaise écriture du logiciel ou une défaillance des fonctions de production ne génèrent pas de danger supplémentaire. Dans le cas des logiciels de production de l'IA, l'IA entrainée n'est pas moins sûre qu'une mauvaise écriture du logiciel. Qu'en est-il de l'IA dans un programme de sécurité?
Si nous considérons les machines intelligentes comme des machines capables d'apprendre, une phase de formation peut remplacer (partiellement) les phases de conception traditionnelles que sont l'analyse, la programmation et la mise en service. Cette phase peut être réalisée par une personne, comme un ouvrier, plutôt que par un ingénieur en automatisation. Les méthodes utilisées pour entrainer les machines doivent être décrites et intégrées à la méthodologie de conception des machines. Il s'agit d'un changement de paradigme pour les concepteurs de machines qui doivent créer des équipements capables d'apprendre de nouvelles fonctions sans compromettre la sécurité. Les "utilisateurs" responsables des phases d'entraînement doivent connaître et comprendre les enjeux de l'apprentissage de l'algorithme. Les protocoles d'entraînement, le choix des données, leur qualité et leur quantité affectent directement le comportement de l'IA.
Les risques de biais liés aux données d'entraînement sont majeurs. Un biais dû au choix des données, des erreurs d'étiquetage importantes ou un nombre d'échantillons trop faible seraient préjudiciables au système.
Bien entendu, un mode spécifique doit gérer l'apprentissage et la formation doit constituer une phase spécifique d'utilisation. Les modes de fonctionnement tels que : automatique, manuel, réglage, etc. doivent intégrer un nouveau mode d'apprentissage. Une phase de vie "apprentissage en production" pourrait constituer une nouvelle catégorie de tâches (Cf. ISO 12100 §5.4.a).
Cette présentation donnera quelques clés et éléments de réponse notamment à partir des travaux autour du TR ISO 22100-5 et du projet de révision de la directive européenne 2006/42/CE sur les machines.