Annealed Multiple Choice Learning: Overcoming limitations of Winner-takes-all with annealing - Equipe Signal, Statistique et Apprentissage
[go: up one dir, main page]
Communication Dans Un Congrès Année : 2024
Annealed Multiple Choice Learning: Overcoming limitations of Winner-takes-all with annealing
David Perera (1, 2) , Victor Letzelter (3, 1, 2) , Théo Mariotte (1, 2) , Adrien Cortés (4) , Mickael Chen (3) , Slim Essid (1, 2) , Gaël Richard (1, 2)
1 S2A - Signal, Statistique et Apprentissage (Télécom Paris 19 Place Marguerite Perey 91120 Palaiseau - France)
"> S2A - Signal, Statistique et Apprentissage
2 IDS - Département Images, Données, Signal (46, rue Barrault 75013 Paris ; 15 Place Marguerite Perey 91120 Palaiseau (depuis oct 2019) - France)
"> IDS - Département Images, Données, Signal
3 Valeo.ai (Paris - France)
  • VALEO (43, Rue Bayen, 75017 Paris - France)
"> Valeo.ai
4 SU - Sorbonne Université (21 rue de l’École de médecine - 75006 Paris - France)
"> SU - Sorbonne Université

Résumé

We introduce Annealed Multiple Choice Learning (aMCL) which combines simulated annealing with MCL. MCL is a learning framework handling ambiguous tasks by predicting a small set of plausible hypotheses. These hypotheses are trained using the Winner-takes-all (WTA) scheme, which promotes the diversity of the predictions. However, this scheme may converge toward an arbitrarily suboptimal local minimum, due to the greedy nature of WTA. We overcome this limitation using annealing, which enhances the exploration of the hypothesis space during training. We leverage insights from statistical physics and information theory to provide a detailed description of the model training trajectory. Additionally, we validate our algorithm by extensive experiments on synthetic datasets, on the standard UCI benchmark, and on speech separation.

Domaines

Machine Learning [stat.ML] Réseau de neurones [cs.NE] Traitement du signal et de l'image [eess.SP] Probabilités [math.PR]
Fichier principal
Vignette du fichier
main.pdf (7.17 Mo) Télécharger le fichier
Figure1_synthetic.pdf (1.11 Mo) Télécharger le fichier
Figure2_rate.pdf (128.77 Ko) Télécharger le fichier
Figure3_distortion.pdf (129.33 Ko) Télécharger le fichier
Figure4_transition.png (768.59 Ko) Télécharger le fichier
Figure5_relaxed.png (6.14 Mo) Télécharger le fichier
Figure6_perf.png (482.81 Ko) Télécharger le fichier
Figure7_nhyp_amcl.pdf (32.47 Ko) Télécharger le fichier
Figure7_nhyp_mcl.pdf (32.46 Ko) Télécharger le fichier
Figure8_transition.pdf (167.52 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
Origine Fichiers produits par l'(les) auteur(s)

Victor Letzelter  : Connectez-vous pour contacter le contributeur

https://hal.science/hal-04762097

Soumis le : jeudi 31 octobre 2024-14:15:00

Dernière modification le : jeudi 12 décembre 2024-03:47:46

Télécharger pour visualiser

Dates et versions

hal-04762097 , version 1 (31-10-2024)

Licence

Paternité - Pas d'utilisation commerciale - Pas de modification
Identifiants
  • HAL Id : hal-04762097 , version 1

Citer

David Perera, Victor Letzelter, Théo Mariotte, Adrien Cortés, Mickael Chen, et al.. Annealed Multiple Choice Learning: Overcoming limitations of Winner-takes-all with annealing. NeurIPS 2024 : 38th Conference on Neural Information Processing Systems, Dec 2024, Vancouver, Canada. ⟨hal-04762097⟩

Exporter

BibTeX XML-TEI Dublin Core DC Terms EndNote DataCite

Collections

SORBONNE-UNIVERSITE LTCI IDS S2A IP_PARIS INSTITUT-MINES-TELECOM
127 Consultations
12 Téléchargements

Partager

More