Les électrons dans les atomes lourds, en particulier ceux qui sont proches du noyau, sont soumis à des effets relativistes importants. Il est nécessaire de prendre en compte ces effets si l'on veut, par exemple, décrire précisément les niveaux d'énergies des atomes. L'étude des modèles atomiques quantiques relativistes remonte aux travaux fondateurs de P.A.M. Dirac, dès 1928. Ses travaux ont permis d'anticiper la découverte des antiparticules. En effet, le hamiltonien quantique qu'il obtient pour l'atome d'hydrogène n'a de sens physique que si l'on peut interpréter ses énergies négatives comme celles d'une mer infinie de particules virtuelles. Un « trou » dans le spectre des énergies négatives est alors interprété comme l'apparition d'une anti-particule : le positron. Peu après, en 1938, pour étudier les atomes à plusieurs électrons Swirles propose un modèle d'approximation qui donnera lieu aux fameuses équations de Dirac-Fock. Cette approche qui est auto-consistante, et pour laquelle les équations obtenues sont non linéaires, permet une étude numérique dont les résultats sont en très bon accord avec les mesures expérimentales. Pour autant, la motivation physique de cette approche reste incomplète. Elle s'appuie essentiellement sur l'analogue non relativiste des modèles atomiques quantiques, mais ne tient pas compte de l'interprétation de Dirac. De plus, le lien des équations de Dirac-Fock avec l'approche théorique donnée par l'électrodynamique quantique (QED) reste à établir clairement. En particulier, en QED, la question de la définition d'un espace qui décrit les états électroniques reste posée. Le travail présenté ici est une tentative d'apporter quelques réponses mathématiques rigoureuses sur ces problèmes. Nous commencerons par construire une famille de fonctionnelles à partir du hamiltonien formel de la QED qui dépendra du choix de l'espace à un électron. On se placera dans l'approximation de Hartree-Fock. On étudiera alors le problème de la stabilité, celui de l'existence de minima pour ces fonctionnelles (avec ou sans condition de charge totale fixée). On se consacrera ensuite à l'exposé des résultats obtenus qui permettent de comparer les deux approches : « Equations de Dirac-Fock » et « QED dans l'approximation de Hartree-Fock ». On distinguera en particulier le cas des couches pleines qui conduit aux mêmes résultats dans les deux cas, tout au moins pour des constantes de couplages faibles.

Les travaux de recherche exposés dans cette habilitation sont essentiellement basés sur l'étude mathématique d'un système physique électromagnétique, le fil directeur étant le phénomène de Aharonov-Bohm. On commence par faire l'analyse semiclassique du propagateur (ou noyau intégral du groupe unitaire du système) à temps petit. Cette étude permet de faire apparaître l'effet Aharonov-Bohm comme une perturbation de phase du propagateur, due à la circulation du potentiel magnétique le long d'orbites classiques situées en dehors du champ magnétique. Nous passons ensuite à l'étude de la diffusion quantique d'un système électromagnétique. Dans ce cas-là, la situation est totalement différente du cas potentiel électrostatique seul : un champ magnétique même a support compact peut engendrer un potentiel magnétique ne dépassant la décroissance coulombienne, et donc a priori à longue portée. Nous démontrons l'existence et la complétude des opérateurs d'ondes (déjà obtenues par Loss et Thaller) à l'aide d'une méthode stationnaire. Cette nouvelle approche permet l'étude des matrices de diffusion grâce à une formule de représentation adaptée. Nous verrons que le spectre essentiel des matrices de diffusion peut recouvrir le cercle unité, comme l'ont démontré Roux et Yafaev. Cette situation est complètement nouvelle : dans le cas d'une perturbation électrostatique a courte portée, la matrice de diffusion est une perturbation compacte de l'identité. Nous ferons ensuite l'étude du problème de diffusion inverse à l'aide d'une approche stationnaire. Il s'agit d'une méthode nouvelle, simple et robuste, proche d'une idée due à Isozaki et Kitada. L'idée est d'introduire dans la définition des opérateurs d'onde un modificateur, type opérateur Fourier intégral, qui permet d'obtenir très facilement l'asymptotique à haute énergie de l'opérateur de diffusion. Notons que cette approche permet également de traiter le cas longue portée. Nous généralisons ainsi les résultats obtenus par Enss et Weder dans le cas d'opérateur de Schrödinger avec potentiel électrostatique seul, à l'aide d'une méthode dépendant du temps. Le problème de diffusion directe et inverse dans le cas d'opérateurs de Schrödinger avec obstacle convexe est étudié dans le but de modéliser le phénomène de Aharonov-Bohm. En dimension supérieure à 3, l'opérateur de diffusion caractérise le potentiel électrique et le champ magnétique. En dimension 2, par contre, nous donnons une condition nécessaire d'obstruction liée à une quantification du flux magnétique. Nous étudions ensuite un problème de diffusion inverse dans le cas où l'opérateur de diffusion est localisé près d'une énergie fixée. Nous montrons que l'approche stationnaire déjà utilisée est tout a fait appropriée pour traiter ce problème (et même le cas longue portée) en effectuant un changement d'échelle et en utilisant des paquets d'onde soigneusement choisis. Nous retrouvons ainsi l'asymptotique complète du potentiel électrostatique a l'infini. Ces résultats sont proches de ceux obtenus par Joshi et Sa Barreto utilisant des techniques assez sophistiquées à la Melrose-Zworski, d'opérateur Fourier intégraux et de distributions Lagrangiennes. Nous étudions également un problème de diffusion inverse pour des Hamiltoniens avec un champ électrique constant (effet Stark) et un potentiel à courte portée générique. Nous montrons qu'en dimension supérieure ou égale à trois, l'opérateur de diffusion caractérise le potentiel. Ce résultat est obtenu à l'aide de la méthode dépendant du temps de Enss-Weder et généralise un théorème dû a Weder qui supposait une décroissance plus forte du potentiel électrostatique. Enfin, nous étudions un problème de diffusion inverse pour un Hamiltonien libre avec potentiel répulsif. Nous montrons que sous des hypothèses convenables de décroissance du potentiel électrostatique, la perturbation est uniquement déterminée par l'asymptotique à haute énergie de l'opérateur de diffusion.