Active learning is usually applied to acquire labels of informative data points in supervised learning, to maximize accuracy in a sample-efficient way. However, maximizing the accuracy is not the end goal when the model is subsequently used for decision-making, for example in personalized medicine or economics. We argue that when acquiring samples sequentially, separating learning and decision-making is sub-optimal, and we introduce an active learning strategy which takes the down-the-line decision problem into account. Specifically, we adopt a Bayesian experimental design approach, and the proposed criterion maximizes the expected information gain on the posterior distribution of the optimal decision. We compare our targeted active learning strategy to existing alternatives on both simulated and real data, and show improved performance in decision-making accuracy.
L’optimisation convexe en ligne (Online Convex Optimization)
est le cadre abstrait standard permettant d’étudier les problèmes
d’apprentissage où les données sont traitées de façon séquentielle. Je
décrirai une version distribuée de cadre. Dans ce problème, des agents
formant les noeuds d’un graphe coopèrent pour minimiser leurs pertes
cumulées. A chaque tour, l’environnement sélectionne un agent qui
devra choisir une action avant d’observer la fonction de perte subie,
puis de communiquer avec ses voisins. Je présenterai une classe
d’algorithmes dits ‘adaptatif au comparateur’, qui ont reçu beaucoup
d’attention ces dernières années, et qui nous seront utiles pour
obtenir des garanties satisfaisantes à notre problème. En ajustant ces
méthodes à notre cadre distribué (et en particulier aux délais induits
par la transmission de l’information), je décrirai un algorithme
s’adaptant de façon optimale à la structure du graphe, en un sens que
je préciserai.
Sorbonne Université - Laboratoire Jacques Louis Lions
Date et heure de l'exposé
Lieu de l'exposé
Salle des séminaires
Résumé de l'exposé
On s'intéresse dans cet exposé à des modèles décrivant l'évolution de particules (telles que des particules solides de poussière ou des goutelettes) dans un gaz raréfié. De nombreux modèles de spray pour les mélanges gaz-particules existent, mais la plupart du temps le gaz (appelé aussi la "phase porteuse" dans les modèles de spray) est décrit par des équations portant sur les grandeurs macroscopiques du fluide. On adopte ici une approche à l'échelle mésoscopique pour décrire le gaz. Je présenterai deux types de modèles destinés à décrire une situation où les particules (correspondant à la phase "dispersée" du spray) sont macroscopiques comparées aux molécules.
Dans la première modélisation que nous considérons, la phase de particules est décrite par une fonction de densité, dont les variables sont le temps, la position, la vitesse, et éventuellement de la température de surface des particules. L'évolution des densités en gaz et en particules est décrite par un couplage de deux équations de type Boltzmann, dont les opérateurs intégraux décrivent l'interaction entre les molécules et les particules. Différents mécanismes collisionnels sont considérés, conduisant à des modèles plus simples à étudier d'un point de vue mathématique, ou plus riches d'un point de vue physique. Une aymptotique de masse faible permet ensuite de dériver un couplage de type Vlasov-Boltzmann, moins coûteux à simuler par méthode particulaire.
Dans une seconde modélisation, le système gaz-particules est cette fois vu comme un gaz évoluant en domaine mouvant. Les particules sont alors traitées individuellement au lieu d'être considérées au niveau mésoscopique comme dans le modèle précédent. Nous montrons l'existence de solutions pour un problème aux limites avec conditions de réflexion diffuse aux bords. Des simulations numériques 2d-2v illustrent l'effet du mouvement des particules sur la densité et la température du gaz.
La quantification d'incertitudes a pour but d'évaluer l'impact d'un manque de connaissance des paramètres d'entrées (considérés aléatoires) sur les résultats d'une expérience numérique. Dans ce travail, nous prenons en compte un second niveau d'incertitude qui affecte le choix du modèle probabiliste des paramètres d'entrées. Nous évaluons les bornes d'une quantité d'intérêt sur l'ensemble des mesures de probabilités uniquement définies par leur bornes et certains de leurs moments. Du fait du grand nombre de contraintes, l'optimisation numérique est complexe. Nous montrons que le problème d'optimisation peut se paramétriser sur les points extrémaux de cet espace de mesures de probabilité contraintes. De plus, nous proposons une nouvelle paramétrisation libre de contraintes basées sur les moments canoniques
Sampling approximations for high dimensional statistical models often rely on so-called gradient-based MCMC algorithms. It is now well established that these samplers scale better with the dimension than other state of the art MCMC samplers, but are also more sensitive to tuning [5]. Among these, Hamiltonian Monte Carlo is a widely used sampling method shown to achieve gold standard d^{1/4} scaling with respect to the dimension [1]. However it is also known that its efficiency is quite sensible to the choice of integration time, see e.g. [4], [2]. This problem is related to periodicity in the autocorrelations induced by the deterministic trajectories of Hamiltonian dynamics. To tackle this issue, we develop a robust alternative to HMC built upon Langevin diffusions (namely Metropolis Adjusted Langevin Trajectories, or MALT), inducing randomness in the trajectories through a continuous refreshment of the velocities. We study the optimal scaling problem for MALT and recover the d^{1/4} scaling of HMC proven in [1] without additional assumptions. Furthermore we highlight the fact that autocorrelations for MALT can be controlled by a uniform and monotonous bound thanks to the randomness induced in the trajectories, and therefore achieves robustness to tuning. Finally, we compare our approach to Randomized HMC ([2], [3]) and establish quantitative contraction rates for the 2-Wasserstein distance that support the choice of Langevin dynamics.
This is a joint work with Jure Vogrinc (University of Warwick)
The main focus of this article is to provide a mathematical study of the algorithm proposed in [6] where the authors proposed a variance reduction technique for the computation of parameter-dependent expectations using a reduced basis paradigm. We study the effect of Monte-Carlo sampling on the the- oretical properties of greedy algorithms. In particular, using concentration inequalities for the empirical measure in Wasserstein distance proved in [14], we provide sufficient conditions on the number of samples used for the computation of empirical variances at each iteration of the greedy procedure to guarantee that the resulting method algorithm is a weak greedy algorithm with high probability. These theoretical results are not fully practical and we therefore propose a heuristic procedure to choose the number of Monte-Carlo samples at each iteration, inspired from this theoretical study, which provides satisfactory results on several numerical test cases.
In this work we consider the surface quasi-geostrophic (SQG) system under location uncertainty (LU) and propose a Milstein-type scheme for these equations, which is then used in a multi-step method. The LU framework, is based on the decomposition of the Lagrangian velocity into two components: a large-scale smooth component and a small-scale stochastic one. This decomposition leads to a stochastic transport operator, and one can, in turn, derive the stochastic LU version of every classical fluid-dynamics system.
SQG in particular consists of one partial differential equation, which models the stochastic transport of the buoyancy, and an operator which relies the velocity and the buoyancy.
For this kinds of equations, the Euler-Maruyama scheme converges with weak order 1 and strong order 0.5. Our aim is to develop higher order schemes in time: the first step is to consider Milstein scheme, which improves the strong convergence to the order 1.
Determinantal Point Processes (DPPs) elegantly model repulsive point patterns.
A natural problem is the estimation of a DPP given a few samples. Parametric and nonparametric inference methods have been
studied in the finite case, i.e. when the point patterns are sampled in a finite ground set.
In the continuous case, several parametric methods have been proposed but nonparametric methods have received little attention.
In this talk, we discuss a nonparametric approach for continuous DPP estimation leveraging recent advances in kernel methods.
We show that a restricted version of this maximum likelihood (MLE) problem falls within the scope of a recent representer theorem for nonnegative functions in a Reproducing Kernel Hilbert Space. This leads to a finite-dimensional problem, with strong statistical ties to the original MLE.
The Cahn-Hilliard equation, arising from physics, describes the phase separation occurring in a material during a sudden cooling process and is the subject of many pieces of research [2]. An interesting application of this equation is its capacity to model cell populations undergoing attraction and repulsion effects.
For this application, we consider a variant of the Cahn-Hilliard equation with a single-well potential and a degenerate mobility. This particular form introduces numerous di culties especially for numerical simulations. We propose a relaxation of the equation to tackle these issues and analyze the resulting system. Interestingly, this relaxed version of the degenerate Cahn-Hilliard equation bears some similarity with a nonlinear Keller-Segel model. We also describe a simple nite element scheme that preserves the critical physical (or biological) properties using an upwind approach.
