[go: up one dir, main page]

Thèse soutenue

Intégration de connaissances de haut-niveau dans un système d'apprentissage par réseau de neurones pour la classification d'images

FR  |  
EN
Auteur / Autrice : Mouna Sabrine Mayouf
Direction : Florence Dupin de Saint Cyr-Bannay
Type : Thèse de doctorat
Discipline(s) : Informatique et Télécommunications
Date : Soutenance le 17/11/2023
Etablissement(s) : Toulouse 3
Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
Jury : Président / Présidente : Adrian Basarab
Examinateurs / Examinatrices : Nadjib Laazar
Rapporteur / Rapporteuse : Adrian Basarab, Béatrice Duval

Résumé

FR  |  
EN

Les réseaux neuronaux ont fait preuve d'avancées remarquables dans des tâches réputées difficiles, comme la classification automatique d'images ou le traitement du langage naturel. Toutefois, leur nature de boîte noire limite leur explicabilité et entrave leur capacité à exploiter des connaissances extérieures aux données. Cette thèse a pour but d'explorer et de proposer des techniques d'intégration des connaissances de haut niveau dans les réseaux neuronaux afin d'améliorer les performances et l'interprétabilité. La première partie de la thèse est centrée sur l'intégration de connaissances aux données d'entrée d'un réseau. Son premier chapitre s'adresse à la préparation des données. On y propose une formalisation du prétraitement afin de garantir la transparence et la reproductibilité de cette étape. Cette formalisation nous permet d'étudier l'impact de la data-augmentation : pour caractériser ce qu'est une bonne préparation des données, et l'état informatif d'un dataset, un ensemble de mesures et de principes est proposé, ensuite des protocoles expérimentaux sont conçus afin d'évaluer ces principes sur le dataset BreakHis. Le deuxième chapitre de cette partie s'adresse à l'exploitation de connaissances haut-niveau pour l'établissement d'un ordre de présentation des données au réseau. Nous introduisons l'apprentissage par curriculum incrémental sur l'ordre de passage des données en entrée. Les résultats obtenus améliorent l'exactitude et la vitesse de convergence. Bien que cette étude soit menée sur le dataset BreakHis, nous pensons qu'elle est généralisable à n'importe quel autre dataset. La deuxième partie est centrée sur l'intégration de connaissances au sein de l'architecture du réseau et au niveau de sa sortie. Dans ce cadre, nous nous sommes intéressés à la classification multi-label hiérarchique, pour laquelle nous avons formalisé les connaissances représentant le lien hiérarchique. Pour cela nous avons introduit deux contraintes : l'une représentant le fait qu'un objet ne peut être affecté qu'à une seule classe à un niveau donné de la hiérarchie, et l'autre imposant que l'affectation globale d'un objet respecte la hiérarchie de classe (par exemple, on interdit de classer un élément comme abeille pour son sous-type et mammifère pour son sur-type). Nous avons conçu une architecture et une fonction de perte qui imposent ces deux contraintes durant l'apprentissage. L'architecture se distingue de l'état de l'art par le fait qu'un seul réseau est utilisé pour prédire simultanément les labels des différents niveaux : toutes les couches sont responsables de la prédiction du n-uplet des classes. Plusieurs variantes du réseau ont été expérimentées sur cinq jeux de données différents et les résultats confirment l'efficacité des contraintes hiérarchiques soutenant ainsi l'importance de la prise en compte de connaissances externes. Afin de raffiner les résultats de cette classification hiérarchique, nous avons introduit un mécanisme d'abstention, sous forme d'une troisième contrainte poussant le réseau à donner une prédiction au niveau de spécificité le plus précis possible sur lequel sa confiance est suffisante et s'abstenir sinon. Nous avons défini différents seuils de confiance et proposé différentes contraintes sur les seuils relativement à la hiérarchie des classes. Pour évaluer ce mécanisme, de nouvelles métriques de classification prenant en compte l'abstention ont été définies. Nous avons mené des expérimentations sur les mêmes jeux de données et les résultats ont montré l'intérêt de l'abstention, et la nécessité de définir un seuil empirique adapté à chaque dataset. Pour conclure, les travaux de cette thèse soulignent l'intérêt d'exploiter des connaissances externes dans le domaine des réseaux de neurones ceci au niveau des trois composantes de ce système d'apprentissage : en entrée pendant la préparation des données, dans la structure du réseau, et à la sortie lors de la prise de décision de classification.