Partial Least Squares: une nouvelle approche au travers de polynômes orthogonaux

La méthode des moindres carrés partiels aussi appelée PLS est très utilisée de nos jours pour la prédiction en régression multivariée, notamment lorsque l'on a de fortes corrélations au sein des variables explicatives ou lorsque ces dernières dépassent en nombre les observations que l'on a à disposition. La PLS est une méthode de réduction de dimension astucieuse qui cherche à résoudre le problème de multicollinéarité en créant de nouvelles variables latentes qui maximisent la variance des variables initiales tout en restant optimales pour la prédiction. Si la PLS se révèle être un outil très utile et puissant dans de nombreux domaines, elle n'en reste pas moins une procédure complexe et peu de ses propriétés théoriques sont connues. Dans cet exposé, je vous présenterai une nouvelle façon de considérer la PLS basée sur les liens étroits qu'elle a avec des polynômes orthogonaux particuliers que j'expliciterai et que nous appellerons par la suite polynômes résiduels. La théorie des polynômes orthogonaux nous permettra ensuite de donner une expression analytique explicite pour ces polynômes résiduels. Nous verrons que cette expression montre clairement de quelle façon l'estimateur PLS dépend du signal et du bruit. A la suite de quoi, nous montrerons la puissance de cette nouvelle approche dans l'analyse des propriétés statistiques de la PLS en établissant de nouveaux résultats sur son risque empirique et son erreur quadratique moyenne de prédiction. Nous évoquerons aussi certaines propriétés de seuillage de cet estimateur et ses liens avec le gradient conjugué. Nous conclurons enfin en montrant comment l'approche par polynômes orthogonaux fournit un cadre unifié permettant de retrouver directement des propriétés déjà connues de la PLS mais démontrées par des approches diverses et différentes de la notre.