Arbres, forêts, discriminante, k-moyennes

Arbres de décision, analyse discriminante linéaire et k-moyennes

Nouveau modèle › type « Arbre de décision » (rpart) : une variable Y quantitative (arbre de régression) ou une variable de classe (arbre de classement), et des X par leurs valeurs brutes, pour que les seuils se lisent dans leurs unités ; les valeurs manquantes des X sont prises en charge par des variables de substitution. Onglet Général : au moins 20 observations par feuille, mais au plus le sixième des observations, pour que l'arbre puisse se couper (un nœud n'est coupé que s'il en compte trois fois plus), au plus 5 niveaux, cp = 0,001, 5 substitutions, élagage par la règle 1-ET (le plus petit arbre à une erreur-type de l'erreur minimale) ou à l'erreur minimale. L'élagage vient d'une validation croisée interne par les groupes de validation croisée (pour des sites suivis plusieurs années, choisir le site), et le Q2 d'une validation croisée externe : chaque groupe est prédit par un arbre refait entièrement sans lui. Vues : Arbre (un clic sur un nœud choisit ses observations), Élagage, Règles des feuilles, Importance des variables, Stabilité de la première coupure (200 tirages bootstrap des groupes : la part des tirages où chaque variable fait la première coupure, et son seuil médian), Observé / prédit et Résidus, ou Classement pour un arbre de classement. Jeu de test et Prédire : une nouvelle observation suit l'arbre, substitutions comprises.

Type « Analyse discriminante linéaire (LDA) » (MASS::lda) : une variable de classe et des X par leurs valeurs brutes ; probabilités a priori proportionnelles aux effectifs ou égales.

Chaque observation va dans la classe de plus grande probabilité a posteriori ; en validation croisée, chaque groupe est classé par le modèle ajusté sans lui. Vues : Scores discriminants, Coefficients discriminants (corrélations de structure, coefficients dans les unités des variables ou pour des variables d'écart-type 1), Classement, Probabilités a posteriori. Jeu de test et Prédire.

Type « k-moyennes » : des X mis à l'échelle comme le dit l'onglet Variables (UV par défaut), k groupes (algorithme de Hartigan et Wong, 25 départs, graine 1), numérotés du plus grand au plus petit ; une observation où une valeur manque est laissée de côté.

Vues : Groupes (sur les deux premières composantes principales), Silhouettes, Choix de k (de 2 à 10 : somme des carrés intra-groupes et silhouette moyenne), Centres des groupes. « Groupes → variable » ajoute les groupes au projet comme une variable qualitative (Édition › Annuler la retire) ; Prédire range une nouvelle observation dans le groupe du centre le plus proche.

Pour les trois : texte des méthodes avec ses références, Exporter, rapport PDF ou Word, Exporter vers R (un script ou un rapport R Markdown / Quarto qui refait l'analyse avec rpart, MASS ou cluster, livrés avec R). Comparer les modèles donne le Q2 et le RMSEcv d'un arbre de régression à côté des autres modèles.

Forêts aléatoires et arbres boostés

Nouveau modèle › type « Forêt aléatoire » (le paquet ranger, Wright et Ziegler 2017) : une variable Y quantitative (forêt de régression) ou une variable de classe (forêt de classement), et des X par leurs valeurs brutes. Chaque arbre est grandi sur un tirage bootstrap des observations (avec remise), chaque coupure choisie parmi mtry variables tirées au hasard ; la forêt prédit la moyenne de ses arbres, ou la classe que le plus d'arbres votent (Breiman 2001). Onglet Général : 500 arbres, mtry et la taille des nœuds de ranger par défaut (la racine du nombre de X arrondie en dessous ; des nœuds de 5 observations en régression, 1 en classement), la part tirée, l'importance par permutation non mise à l'échelle ou divisée par son erreur-type. Graine 1 et un seul fil de calcul : la même forêt à chaque fois. ranger ne prend pas de valeurs manquantes : une observation où une valeur X manque est laissée de côté (le résumé les compte). L'erreur hors sac : chaque observation prédite par les arbres dont le tirage ne la contient pas (MSE et R², ou la part mal classée) ; la validation croisée : chaque groupe de validation croisée (le site) prédit par une forêt refaite sans lui (Q2 et RMSEcv, ou la part bien classée). Vues : Importance des variables (par permutation, la hausse de l'erreur hors sac quand les valeurs de la variable sont permutées ; ou par l'impureté), Dépendance partielle (calculée à la demande, Friedman 2001 : la prédiction moyenne de la forêt quand une variable prend chaque valeur d'une grille, les autres X inchangés ; toutes les variables côte à côte, ou une seule, les valeurs observées sous la courbe ; en classement, la part des votes d'une classe), Erreur selon le nombre d'arbres, Observé / prédit (hors sac, en validation croisée ou ajusté) ou Classement (avec les courbes ROC des votes). Jeu de test et Prédire.

Type « Arbres boostés (BRT) » : le gradient boosting d'arbres de régression (Friedman 2001, 2002), comme le calcule le paquet gbm et comme Elith, Leathwick et Hastie (2008) le présentent aux écologues, écrit en R sur rpart. Une Y quantitative : une mesure (loi normale), une présence-absence 0/1 (binomiale) ou des comptages (Poisson), choisie comme celle d'un GLM. Les arbres sont ajoutés un à un, chacun ajusté à ce que le modèle manque encore (le gradient de la déviance) sur un tirage sans remise d'une part des observations, ses feuilles réestimées pour la déviance, puis ajouté avec un petit poids (le taux d'apprentissage). Onglet Général : au plus 2000 arbres, un taux d'apprentissage de 0,01, 3 coupures par arbre (la profondeur d'interaction : 1 donne un modèle additif), au moins 10 observations par feuille, des tirages de 50 %. Le nombre d'arbres est celui où la déviance de validation croisée est la plus petite (chaque groupe de validation croisée prédit après chaque arbre par le boosting refait sans lui) : plus il y a de groupes et d'arbres, plus l'ajustement est long. Les observations où une valeur X manque sont laissées de côté. Vues : Influence relative (les réductions d'erreur des coupures de chaque variable, en %), Dépendance partielle (à l'échelle du lien, logit ou log, ou à celle de la réponse), Erreur selon le nombre d'arbres (la déviance de l'ajustement et celle de la validation croisée, le nombre d'arbres retenu), Observé / prédit, et Classement (à une probabilité de 0,5, avec la courbe ROC) pour une réponse 0/1. Jeu de test et Prédire.

Pour les deux : texte des méthodes avec ses références, Exporter, rapport PDF ou Word. Comparer les modèles donne le Q2 et le RMSEcv d'une forêt de régression, ou d'arbres boostés d'une mesure, à côté des autres modèles. Exporter vers R : des arbres boostés avec R et rpart seuls (le boosting du moteur de Nuée recopié dans le script : avec la même graine, les mêmes tirages et les mêmes arbres, ceux de gbm) ; une forêt aléatoire avec R et le paquet ranger, la seule exception à « sans paquet » : Nuée en dépend et l'installe avec lui (ailleurs, install.packages("ranger")), et le script le charge avec la même graine, un seul fil et les mêmes réglages, si bien que sa forêt est celle de Nuée, arbre pour arbre, avec la même version de ranger. Le jeu de test et la dépendance partielle, si elle a été calculée, y sont aussi.