Le principal obstacle aux communications longue distance est l'interférence non linéaire (NLI), résultant des effets non linéaires dans les canaux de fibres optiques. Bien que les algorithmes de traitement du signal numérique offrent une atténuation partielle, la nature intrinsèquement non linéaire, couplée aux effets de dispersion prédominants, continue de défier la fidélité de transmission. Aborder la non-linéarité directement à la source par des modulations intrinsèquement moins sensibles aux distortions non-linéaires est au coeur de notre stratégie de recherche. Les schémas traditionnels de modulation, à mesure que l'efficacité spectrale augmente, i.e formats QAM, deviennent de plus en plus sensibles à NLI et la distance euclidienne moyenne au carré (MSED) diminue. Bien que la modulation multi-dimensionnelle (MD) offre des gains linéaires améliorés et non linéaires partiels, elle est insuffisante. L'émergence de la mise en forme probabiliste de constellation (PCS), privilégiée pour son gain linéaire accru et sa compatibilité avec le matériel de modulation conventionnel, introduit une NLI supplémentaire. Par conséquent, la conception de PCS tolérante aux non-linéarités émerge comme une direction de recherche cruciale. Notre thèse commence par une nouvelle modulation MD pour les signaux uniformes. Ensuite, nous proposons une approche novatrice combinant MD avec PCS pour examiner les variations de performance. En explorant la PCS, nous étudions le coupleur de distribution de mise en forme (DM) sphérique énumérative, initialement d'un point de vue MD, et concevons un DM optimisé pour la tolérance non linéaire sur de courtes distances. Par la suite, nous introduisons une nouvelle technique de mesure d'NLI, prenant en compte les effets de dispersion. En intégrant cela au cadre de sélection de séquence de la PCS, nous réalisons une transmission longue distance réussie avec des gains non linéaires notables.