Avis de Soutenance
Madame Elissa MHANNA
Soutiendra publiquement ses travaux de thèse intitulés
“Au-delà des gradients : approches sans gradient pour l’optimisation et l’apprentissage dans des environnements multi-agents »
dirigés par Monsieur Mohamad ASSAAD
Date: le Mercredi 18 décembre 2024 à 14h (heure de Paris)
Lieu: CentraleSupélec, campus de Saclay, Amphi IV, Bâtiment Eiffel.
Visioconférence: https://teams.microsoft.com/l/meetup-join/19%3ameeting_N2EwZjY3YjItMGI3OC00ZWMyLTlmYTgtZTIzZWFlM2U5YTFj%40thread.v2/0?context=%7b%22Tid%22%3a%2261f3e3b8-9b52-433a-a4eb-c67334ce54d5%22%2c%22Oid%22%3a%2275194fbe-0bcd-44e9-b7cf-f64dfa7877af%22%7d
Membres du jury:
Mehdi BENNIS, Professeur, Université d’Oulu: Rapporteur
Cedric RICHARD, Professeur, Université Côte d’Azur: Rapporteur
Philippe JACQUET, Directeur de la recherche, Inria Saclay: Examinateur
Zheng CHEN, Professeure associé, Université de Linköping: Examinateur
Résumé:
“L’essor des dispositifs connectés et des données qu’ils génèrent a stimulé le développement d’applications à grande échelle, formant des réseaux distribués avec un traitement de données décentralisées. Leur multiplication pose des défis comme la surcharge de communication et les coûts computationnels, nécessitant des méthodes d’optimisation adaptées à des contraintes strictes, surtout en l’absence de dérivées. Cette thèse explore les méthodes d’optimisation sans dérivées, qui évaluent les gradients via des évaluations de fonction, les rendant idéales pour l’apprentissage distribué et fédéré dans des environnements bruités et peu informés. Dans la première partie, nous abordons l’optimisation distribuée sans dérivées pour des fonctions fortement convexes sur plusieurs agents. Un algorithme distribué de descente de gradient projeté sans dérivées est proposé, basé sur des estimations de gradient à un point via des évaluations stochastiques bruitées. Nous établissons la convergence presque sûre et des bornes théoriques sur le taux de convergence. Avec des pas constantes, l’algorithme atteint un taux linéaire, une première pour des estimations de gradient pour des fonctions stochastiques et bruitées. L’impact des pas décroissants est également analysé, affichant un taux équivalent aux méthodes centralisées sans dérivées. La deuxième partie de la thèse explore l’apprentissage fédéré, qui est limité par le coût élevé de la transmission de données sur des réseaux à bande passante restreinte. Nous proposons un algorithme qui réduit la surcharge de communication via des estimations de gradient à un et deux points. Les dispositifs transmettent des scalaires au lieu de vecteurs de gradient, diminuant les données envoyées. L’algorithme intègre les perturbations des communications sans fil, sans nécessiter d’informations explicites sur l’état du canal. C’est la première approche à inclure les propriétés du canal sans fil dans un algorithme d’apprentissage, le rendant résilient aux problèmes de communication réels. Nous montrons une convergence presque sûre dans des environnements convexes et non convexes et prouvons des taux de convergence linéaires pour des fonctions fortement convexes et lisses et pour des fonctions dominées par le gradient $\kappa$. L’efficacité de la méthode est validée à travers des expériences.”
