Thèse Année : 2024

Communication-efficient decentralized learning for intelligent networked systems

Apprentissage décentralisé efficace en matière de communication pour les systèmes en réseaux intelligents

Eunjeong Jeong

Résumé

The advent of the Internet of Things (IoT) led to the significance of fully decentralized (serverless) learning that enables individual models to preserve specific values such as local preference, privacy preservation, or coping with unstable connectivity. This thesis aims to provide a comprehensive guide to address intriguing problems and behaviors in decentralized networks, where participants utilize neural networks to perform various tasks.The first part of the thesis explores asynchronous communication in decentralized learning over unreliable networks. Two types of impairments leading to the straggler problem, namely communication delay and computation delay, are discussed and analyzed. The objective is to achieve a global consensus in such systems.The second part of the thesis delves into asynchronous decentralized federated learning over row-stochastic wireless communications. We underline the decoupling of timelines for communication and computation, leading to full autonomy of the network users, unlike the coupled methods where gradient update and gossip exchange happen either in a predefined order or sequentially. Particularly, our scheme is the first work that has considered collaborative model updates on a continuous timeline. Convergence analysis and numerical experiments support the validity of the scheme, along with several intriguing open questions for further research that might develop and enhance the performance and the philosophy of the framework. In the third part, the thesis addresses personalization in decentralized collaborative networks. It is acknowledged that each agent exhibits distinct behaviors or patterns during its learning process, rather than blindly pursuing a global model applied uniformly to all agents. To address this challenge, a novel algorithm leveraging knowledge distillation for similarity measurement is proposed. This approach enables the quantification of statistical distance across local models, ultimately enhancing the connections between agents with higher relevance and significantly improving per-client performance. By combining these three key aspects, the thesis aims to provide comprehensive guidance for the development of communication-efficient decentralized learning approaches for intelligent networked systems. This research strives to push the boundaries of fully decentralized learning, contributing to the advancement of distributed machine learning techniques.
L'avènement de l'Internet des Objets (IoT) a mis en évidence l'importance de l'apprentissage entièrement décentralisé (sans serveur), permettant aux modèles individuels de préserver des valeurs spécifiques telles que la préférence locale, la préservation de la vie privée ou la gestion d'une connectivité instable. Cette thèse vise à fournir un guide complet pour aborder les problèmes et comportements intrigants dans les réseaux décentralisés, où les participants utilisent des réseaux neuronaux pour effectuer diverses tâches. La première partie de la thèse explore la communication asynchrone dans l'apprentissage décentralisé sur des réseaux peu fiables. Deux types de défaillances menant au problème des traînards, à savoir le retard de communication et le retard de calcul, sont discutés et analysés. L'objectif est d'atteindre un consensus global dans de tels systèmes. La deuxième partie de la thèse se penche sur l'apprentissage fédéré décentralisé asynchrone via des communications sans fil row-stochastic. Nous soulignons le découplage des chronologies pour la communication et le calcul, conduisant à une autonomie complète des utilisateurs du réseau, contrairement aux méthodes couplées où la mise à jour des gradients et l'échange de potins se produisent soit dans un ordre prédéfini, soit de manière séquentielle. En particulier, notre schéma est le premier à considérer des mises à jour collaboratives de modèles sur une chronologie continue. L'analyse de convergence et les expériences numériques soutiennent la validité du schéma, accompagnées de plusieurs questions ouvertes intrigantes pour des recherches futures qui pourraient développer et améliorer les performances et la philosophie du cadre.Dans la troisième partie, la thèse aborde la personnalisation dans les réseaux collaboratifs décentralisés. Il est reconnu que chaque agent présente des comportements ou des motifs distincts pendant son processus d'apprentissage, plutôt que de poursuivre aveuglément un modèle global appliqué uniformément à tous les agents. Pour relever ce défi, un nouvel algorithme exploitant la distillation des connaissances pour la mesure de similarité est proposé. Cette approche permet de quantifier la distance statistique entre les modèles locaux, améliorant finalement les connexions entre les agents ayant une plus grande pertinence et améliorant de manière significative la performance par client. En combinant ces trois aspects clés, la thèse vise à fournir des orientations complètes pour le développement d'approches d'apprentissage décentralisé efficaces en termes de communication pour les systèmes réseau intelligents. Cette recherche s'efforce de repousser les limites de l'apprentissage entièrement décentralisé, contribuant à l'avancement des techniques d'apprentissage machine distribué.
Fichier principal
Vignette du fichier
140719_JEONG_2024_archivage.pdf (2.25 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04910716 , version 1 (24-01-2025)

Identifiants

  • HAL Id : tel-04910716 , version 1

Citer

Eunjeong Jeong. Communication-efficient decentralized learning for intelligent networked systems. Library and information sciences. Sorbonne Université, 2024. English. ⟨NNT : 2024SORUS433⟩. ⟨tel-04910716⟩
0 Consultations
0 Téléchargements

Partager

More