Carmin.tv

Mathématiques
et Interactions

Merci de nous donner votre avis pour que nous puissions améliorer votre expérience !
Arithmetic Geometry – A Conference in Honor of Hélène Esnault on the Occasion of Her 70th Birthday
4 videos

Arithmetic Geometry – A Conference in Honor of Hélène Esnault on the Occasion of Her 70th Birthday

Lean for the curious mathematician / Lean pour mathématiciens
4 videos

Lean for the curious mathematician / Lean pour mathématiciens

Master Class Lycéennes Séphora Berrebi
4 videos

Master Class Lycéennes Séphora Berrebi

Séminaire Parisien de Statistique
5 videos

Séminaire Parisien de Statistique

Toutes les collections
CIMPA
CIRM
IHES
IHP
LMR
SMF
Tous les instituts
2022 - T3 - WS3 - Measure-theoretic Approaches and Optimal Transportation in Statistics

Collection 2022 - T3 - WS3 - Measure-theoretic Approaches and Optimal Transportation in Statistics

Organisateur(s) Aamari, Eddie ; Aaron, Catherine ; Chazal, Frédéric ; Fisher, Aurélie ; Hoffmann, Marc ; Le Brigant, Alice ; Levrard, Clément ; Michel, Bertrand
Date(s) 21/11/2022 - 25/11/2022
URL associée https://indico.math.cnrs.fr/event/7547/
1 14

Gradient Flows on Kernel Divergence Measures

De Arthur Gretton

We construct Wasserstein gradient flows on two measures of divergence, and study their convergence properties.

The first divergence measure is the Maximum Mean Discrepancy (MMD): an integral probability metric defined for a reproducing kernel Hilbert space (RKHS), which serves as a metric on probability measures for a sufficiently rich RKHS. We obtain conditions for convergence of the gradient flow towards a global optimum, and relate this flow to the problem of optimizing neural networks. The second divergence measure on which we define a flow is the KALE (KL Approximate Lower-bound Estimator) divergence. This is a regularized version of the Fenchel dual problem defining the KL over a restricted class of functions (again, a Reproducing Kernel Hilbert Space (RKHS)). We also propose a way to regularize both the MMD and KALE gradient flows, based on an injection of noise in the gradient. This algorithmic fix comes with theoretical and empirical evidence. We compare the MMD and KALE flows, illustrating that the KALE gradient flow is particularly well suited when the target distribution is supported on a low-dimensional manifold.

Informations sur la vidéo

Données de citation

  • DOI 10.57987/IHP.2022.T3.WS3.001
  • Citer cette vidéo Gretton, Arthur (21/11/2022). Gradient Flows on Kernel Divergence Measures. IHP. Audiovisual resource. DOI: 10.57987/IHP.2022.T3.WS3.001
  • URL https://dx.doi.org/10.57987/IHP.2022.T3.WS3.001

Domaine(s)

Bibliographie

  • Pierre Glaser, Michael Arbel, Arthur Gretton / KALE Flow: A Relaxed KL Gradient Flow for Probabilities with Disjoint Support. NeurIPS, 2021
  • Michael Arbel, Anna Korba, Adil Salim, Arthur Gretton / Maximum Mean Discrepancy Gradient Flow. NeurIPS, 2019

Dernières questions liées sur MathOverflow

Pour poser une question, votre compte Carmin.tv doit être connecté à mathoverflow

Poser une question sur MathOverflow




Inscrivez-vous

  • Mettez des vidéos en favori
  • Ajoutez des vidéos à regarder plus tard &
    conservez votre historique de consultation
  • Commentez avec la communauté
    scientifique
  • Recevez des notifications de mise à jour
    de vos sujets favoris
Copyright Carmin.tv 2024
En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour améliorer votre expérience. En savoir plus sur notre politique de confidentialité.
Accepter
Donner son avis