| Modèle | Périmètre | Taux de défaut observé | PD moyenne prévue | Prévu / observé | AUC |
|---|---|---|---|---|---|
| Logistique | entraînement 2000-2005 | 0,72 % | 0,72 % | 1,00 | 0,909 |
| Logistique | test arrêtés 2006-2010 | 3,36 % | 0,56 % | 0,17 | 0,789 |
| LightGBM | entraînement 2000-2005 | 0,72 % | 0,72 % | 1,00 | 0,932 |
| LightGBM | test arrêtés 2006-2010 | 3,36 % | 1,04 % | 0,31 | 0,815 |
Machine learning et provision IFRS 9 : que change LightGBM en période de crise ?
Note de provisionnement, prêts immobiliers Freddie Mac 2006-2008
1 Question et réponse courte
Remplacer la régression logistique par du machine learning (LightGBM) dans le modèle de PD à 12 mois change-t-il la provision IFRS 9, et dans quel sens en période de crise ?
Les mêmes résultats se consultent arrêté par arrêté dans le tableau de bord interactif, où les poids des scénarios se règlent à la main.
Oui, la provision change, et toujours dans le même sens avant la crise, mais beaucoup moins que l’erreur commune aux deux modèles. Au 31/12/2007, avec les mêmes variables, la même survie, le même remboursement anticipé, la même LGD et la même règle de stades, LightGBM provisionne 21,4 M$ contre 15,1 M$ pour la logistique, soit +41 % (intervalle à 95 % sur la composition du portefeuille : +38 % à +45 %). En réestimant aussi les deux modèles sur 100 tirages des prêts d’entraînement (D-042), l’intervalle devient +24 % à +64 %, et LightGBM provisionne plus que la logistique dans 100 % des tirages. L’ampleur dépend toutefois de la fenêtre d’entraînement : en retirant les arrêtés de 2005, dont les étiquettes ne sont connues que fin 2006 (D-046), l’écart tombe à +21 %, parce que la logistique provisionne alors davantage. Mais les deux provisions ne couvrent que 10 % à 14 % des pertes chiffrées ensuite sur le même horizon, et 8 % à 11 % en estimant la perte des défauts dont Freddie Mac ne publie pas le montant (D-044). Entraînés sur 2000-2005, aucun des deux modèles ne voit venir la crise ; LightGBM s’en approche un peu moins mal.
2 Données et méthode
- Données : échantillon Freddie Mac Single-Family Loan-Level, millésimes 2000 à 2008 (450 000 prêts, 24,8 millions de lignes prêt-mois), et séries FRED (chômage, indices de prix national et par État, taux à 30 et 10 ans). Les données ne sont pas redistribuées.
- Découpage temporel : modèles estimés sur les prêts octroyés en 2000-2005 et observés jusqu’au 31/12/2005 ; tout est évalué sur les millésimes 2006-2008, qui traversent la crise.
- Provision : pour chaque prêt, somme sur l’horizon de la PD marginale × LGD × EAD × facteur d’actualisation, puis moyenne pondérée de trois scénarios (50/30/20).
| Brique | Choix |
|---|---|
| Défaut | 90 jours de retard, ou saisie |
| PD à 12 mois | logistique de référence, ou LightGBM sur les mêmes variables |
| PD à maturité | survie en temps discret, 12 premiers mois ancrés sur la PD à 12 mois |
| Remboursement anticipé | hasard en temps discret, risque concurrent du défaut |
| LGD | probabilité de régularisation, puis sévérité, selon le ratio prêt / valeur réévalué aux prix de l’État ; recouvrement actualisé |
| EAD | amortissement contractuel |
| Stade 2 | 30 jours de retard dans les 3 derniers mois, ou PD à maturité annualisée doublée depuis l’octroi |
| Stade 3 | LGD actualisée × capital restant dû à l’arrêté |
| Prêts régularisés après un défaut | stade 2, table de re-défaut selon l’ancienneté de la régularisation |
Toutes les définitions ont été figées et datées avant le moindre résultat, dans docs/decisions.md (D-001 à D-056). Les corrections et les améliorations y sont datées. Une revue critique du 15/11/2026 a conduit à corriger le backtest et l’exposition du stade 3 (D-043 à D-046), puis à refaire la LGD, l’actualisation et la règle de retour en stade 1 (D-047 à D-051), enfin à remettre au bilan les prêts régularisés après un défaut (D-053) ; une seconde revue a corrigé l’ancrage des scénarios et la fenêtre de pertes du backtest (D-054 à D-056) ; les provisions d’avant cette revue restent publiées (trimestriel_figee_avant_revue_modeles.csv), comme celles calculées sans remboursement anticipé (suffixe _sans_remboursement).
3 Les deux modèles de PD à 12 mois
LightGBM classe un peu mieux les prêts, mais les deux sous-estiment fortement le nombre de défauts une fois la crise venue (pd12.md).
4 Remboursement anticipé
| Périmètre | Remboursements observés | Prévus / observés | AUC |
|---|---|---|---|
| entraînement 2000-2005 | 6 838 | 1,00 | 0,758 |
| test, macro réalisée | 13 427 | 3,41 | 0,672 |
| test, macro figée à déc. 2005 | 13 427 | 1,44 | 0,630 |
Le modèle, estimé sur 2000-2005, a appris le boom de refinancement de 2001-2003 : quand les taux baissent, les prêts se remboursent. La contrainte de signe ne garde que les taux. Sur 2006-2010, avec la macro réalisée, il prévoit plus de trois fois trop de remboursements : la baisse des taux de 2009-2010 n’a pas déclenché de refinancement, faute de valeur nette dans les biens et de crédit disponible. Avec la macro figée à l’arrêté, l’erreur se réduit à 44 %. Dans le moteur, le remboursement anticipé retire des prêts avant qu’ils ne fassent défaut : la provision baisse, surtout sur la durée de vie.
5 La LGD
| Variables de la LGD | LGD prévue | LGD réalisée | Régularisations prévues | réalisées | Sévérité prévue | réalisée |
|---|---|---|---|---|---|---|
| D-028 : LTV d’octroi et ratio de capital | 7,6 % | 29,5 % | 72 % | 42 % | 27 % | 55 % |
| D-047 retenu : CLTV réévaluée | 21,9 % | 29,5 % | 36 % | 42 % | 31 % | 55 % |
| CLTV réévaluée sans l’âge | 17,2 % | 29,5 % | 47 % | 42 % | 30 % | 55 % |
| D-028 + CLTV réévaluée | 23,7 % | 29,5 % | 26 % | 42 % | 30 % | 55 % |
| D-028 + CLTV réévaluée + prix sur un an | 15,8 % | 29,5 % | 11 % | 42 % | 17 % | 55 % |
| D-028 + CLTV réévaluée + prix + chômage sur un an | 10,6 % | 29,5 % | 7 % | 42 % | 10 % | 55 % |
La première LGD, fondée sur la LTV d’octroi, prévoyait 7,6 % sur les défauts de 2006-2010 pour 29,5 % réalisés. La LGD retenue remplace la LTV d’octroi et le ratio de capital restant par leur produit corrigé des prix de l’État du bien, le ratio prêt / valeur réévalué à la date du défaut (D-047). Toujours estimée sur les seuls défauts d’avant 2006, elle prévoit 21,9 % : la baisse des prix suffit à faire chuter les régularisations prévues. La sévérité des pertes reste sous-estimée de moitié : pendant la crise elle vaut 50 à 60 % quelle que soit la CLTV, alors qu’avant 2006 elle ne dépassait pas 31 % et ne croissait pas avec la CLTV. Une forme structurelle n’y change rien (D-052). Les autres jeux de variables du tableau ont été essayés et sont publiés tels quels : ajouter la variation des prix ou du chômage dégrade la prévision, leurs coefficients appris sur 2000-2005 ayant le mauvais signe.
| Année du défaut | Défauts résolus | LGD prévue | LGD réalisée |
|---|---|---|---|
| 2006 | 30 | 6,1 % | 13,9 % |
| 2007 | 389 | 10,1 % | 32,0 % |
| 2008 | 1 630 | 16,6 % | 39,4 % |
| 2009 | 4 688 | 21,7 % | 29,2 % |
| 2010 | 3 873 | 25,4 % | 25,9 % |
La LGD prévue suit les prix avec retard : elle reste trop basse en 2007-2008, quand les prix commencent seulement à baisser, et rejoint la LGD réalisée en 2010. Sur les défauts de 2011 et après, qui n’ont pas servi à choisir les variables, elle prévoit 28,2 % pour 20,5 % réalisés : elle n’est pas biaisée vers le bas par construction, elle suit mal les changements de régime dans les deux sens (D-056). Dans la provision, la LGD est de plus actualisée au taux du prêt sur le délai médian de résolution observé avant 2006 (D-049).
6 Provision trimestrielle et pertes constatées
| Arrêté | Encours (Md USD) | Logistique (M USD) | LightGBM (M USD) | dont stade 3 (M USD) | Pertes chiffrées (M USD) | Pertes avec non résolus estimés (M USD) | LightGBM avant la revue des modèles (M USD) | LightGBM sans remboursement (M USD) |
|---|---|---|---|---|---|---|---|---|
| 2006-12 | 7,2 | 3,4 | 4,7 | 0,4 | 25,8 | 34,5 | 2,9 | 5,6 |
| 2007-12 | 15,2 | 15,1 | 21,4 | 6,7 | 154,2 | 200,9 | 10,5 | 24,7 |
| 2008-12 | 23,0 | 88,8 | 115,9 | 65,1 | 446,1 | 572,8 | 37,9 | 129,6 |
| 2009-12 | 17,8 | 333,9 | 361,5 | 267,0 | 605,9 | 743,0 | 94,7 | 380,7 |
| 2010-12 | 13,1 | 407,0 | 427,7 | 293,9 | 603,4 | 701,3 | 83,2 | 443,4 |
La provision est multipliée par 17 à 22 entre fin 2007 et fin 2009, mais surtout par le stade 3 : elle réagit aux défauts survenus, elle ne les anticipe pas. De fin 2009 à fin 2010, les pertes chiffrées valent encore 1,4 à 1,8 fois la provision. La revue des modèles (nouvelle LGD, actualisation, probation, prêts régularisés) multiplie la provision par 1,6 à 5,2 selon l’arrêté par rapport à la version précédente, pour l’essentiel par la LGD : c’est elle, plus que le choix du modèle de PD, qui déterminait le niveau de la provision. Les prêts régularisés après un défaut, remis au bilan (D-053), ajoutent 2,4 M$ de provision fin 2007 et 148 M$ fin 2010, identiques pour les deux modèles : l’écart relatif entre eux s’en trouve réduit, pas leur écart en dollars.
7 L’écart entre LightGBM et la logistique
| Arrêté | Écart relatif | IC 95 %, portefeuille | Écart absolu (M USD) | IC 95 %, modèles réestimés |
|---|---|---|---|---|
| 2006-12 | +37,9 % | +34,0 % ; +41,8 % | 1,30 | |
| 2007-12 | +41,3 % | +38,2 % ; +44,6 % | 6,24 | +23,7 % ; +64,3 % |
| 2008-12 | +30,5 % | +28,9 % ; +32,1 % | 27,07 | +23,0 % ; +38,6 % |
| 2009-12 | +8,3 % | +7,9 % ; +8,7 % | 27,62 | |
| 2010-12 | +5,1 % | +4,8 % ; +5,3 % | 20,63 |
Sur les tout premiers arrêtés de 2006, quand le portefeuille ne compte que des prêts de quelques mois, LightGBM provisionne moins que la logistique. De fin 2006 à fin 2008, il provisionne nettement plus, de +28 % à +41 % ; l’écart se referme ensuite (+5 % à +8 % de fin 2009 à fin 2010), quand la provision des prêts déjà en défaut, identique pour les deux modèles, domine. Le premier intervalle ne mesure que la composition du portefeuille (D-037) ; le second y ajoute l’incertitude d’estimation des deux modèles de PD à 12 mois (D-042), la survie, le remboursement et la LGD restant fixes.
8 Le stade 2
Jusqu’à fin 2008, au seuil retenu de 2, le critère de dégradation ajoute au plus 0,01 % de l’encours au stade 2 dû au retard : il ne voit pas venir la crise. En 2009-2010, il ajoute jusqu’à 7,5 % de l’encours, de façon très instable d’un trimestre à l’autre.
Deux mécanismes expliquent ce profil. La PD à maturité est dominée par les hasards de survie au-delà de 12 mois, et le modèle de survie, estimé sur 2000-2005, n’a appris aucune sensibilité au chômage ni aux prix immobiliers : jusqu’en 2008, le rapport entre PD à l’arrêté et PD à l’octroi reste proche de 1. Le seul canal macro restant est celui des taux, qui agit à la fois sur le défaut et sur le remboursement anticipé. Quand les taux chutent en 2009-2010, ce canal fait varier la PD à maturité de nombreux prêts sans dégradation de crédit observée, et les prêts franchissent le seuil par intermittence. La règle de stades capte donc un artefact de taux plutôt que la crise.
9 Scénarios et sensibilité aux pondérations
Au 31/12/2007 :
| Pondérations | LightGBM, surcouche non | LightGBM, surcouche oui | Logistique, surcouche non | Logistique, surcouche oui |
|---|---|---|---|---|
| 50/30/20 (référence) | +11,5 % | +16,2 % | +8,2 % | +12,3 % |
| 60/20/20 | +10,4 % | +14,1 % | +7,6 % | +10,9 % |
| 40/40/20 | +12,5 % | +18,4 % | +8,7 % | +13,8 % |
| 1/3 chacun | +11,2 % | +15,9 % | +8,0 % | +12,1 % |
| central seul | +9,3 % | +11,3 % | +6,9 % | +9,0 % |
| défavorable seul | +19,6 % | +32,9 % | +12,7 % | +23,7 % |
| favorable seul | +4,6 % | +3,4 % | +4,3 % | +3,6 % |
Dans le résultat principal, les scénarios agissent sur la PD par les taux, seul canal macro appris par la survie, et sur la LGD par les prix : la CLTV est réévaluée au niveau de prix atteint après 12 mois de chaque trajectoire (D-047). Le scénario central prolonge la variation annuelle des prix observée à l’arrêté : il abaisse donc la provision tant que les prix montent (2006) et la relève dès qu’ils baissent. Pondérés 50/30/20, les scénarios changent la provision de -29,8 % à +14,7 % selon l’arrêté. La surcouche tirée d’Elul et al. (2010), publiée à part (D-034), fait réagir la PD au chômage et à la CLTV réévaluée : l’effet pondéré va de -29,4 % à +20,8 % avec l’indice de prix national, et de -32,4 % à +22,1 % avec l’indice de chaque État (D-041). Même le scénario défavorable seul, avec surcouche, n’ajoute que 24 % à 33 % à la provision de fin 2007 : aucune pondération plausible ne comble l’écart avec les pertes.
10 Backtest par génération
| Millésime | Perte attendue à maturité, logistique (M USD) | LightGBM (M USD) | LightGBM sans remboursement (M USD) | Pertes chiffrées (M USD) | Pertes avec non résolus estimés (M USD) |
|---|---|---|---|---|---|
| 2006 | 14,8 | 16,0 | 51,7 | 296,3 | 332,1 |
| 2007 | 13,4 | 16,1 | 63,7 | 309,4 | 386,6 |
| 2008 | 3,5 | 7,3 | 72,3 | 147,0 | 195,8 |
À la fin de l’année d’octroi, la perte attendue sur toute la durée de vie ne couvre qu’une petite fraction des pertes constatées jusqu’en juin 2026, fin des données (D-055). Ce n’est pas une validation sur toute la durée contractuelle : pour des prêts à 30 ans, 18 à 20 ans seulement sont observés, même si 91 % des premiers défauts de ces générations sont survenus avant 2015. Le remboursement anticipé la réduit encore : avec les taux bas de fin 2008 figés, le modèle prévoit tant de remboursements que la perte attendue du millésime 2008 est divisée par 10 à 20, alors que ces remboursements ne se sont pas produits.
11 Contrôles
- Chaque brique est vérifiée sur un cas calculé à la main (
tests/test_cas_a_la_main.py). - Le moteur vectorisé est identique au calcul prêt par prêt.
- Un script R indépendant recalcule la provision, remboursement anticipé compris : écart relatif maximal inférieur à 1e-12 sur 50 prêts réels au 31/12/2007, et vérifié en intégration continue sur 50 prêts simulés.
12 Limites
- Prêts immobiliers américains conformes, pas le portefeuille d’une banque ; périmètre simplifié d’IFRS 9, sans valeur de conseil comptable.
- Scénarios construits par l’auteur ; surcouche tirée d’une étude publiée après la crise et estimée sur un autre échantillon.
- Le modèle de remboursement, comme celui du défaut, n’a vu que 2000-2005 : il surestime fortement les remboursements de la crise.
- L’écart entre les modèles est sensible à la fenêtre d’entraînement (D-046) : il passe du simple au double selon que les arrêtés de 2005 sont inclus ou non. Les intervalles de confiance ne couvrent pas cette incertitude.
- L’intervalle avec réestimation tient fixes la survie, le remboursement et la LGD, et ne porte que sur 100 tirages.
- La LGD reste inférieure à la LGD réalisée sur la crise, surtout en 2007-2008, et sa sévérité est sous-estimée de moitié. Le jeu de variables retenu a été choisi pour sa logique économique, mais après avoir vu les résultats des autres sur la période de test : le tableau les publie tous.
- Les prêts régularisés après un défaut sont provisionnés par une table d’expérience à une seule variable, l’ancienneté de la régularisation (D-053). Elle prévoit bien le nombre de nouveaux défauts sur 2006-2010, mais trop peu en 2008-2009 et trop en 2010.
- Le remboursement anticipé ignore le retard de paiement : l’effet a été testé et il est nul sur 2000-2005, où un prêt en retard se remboursait autant qu’un autre (D-048).
- Pertes du backtest : une partie des défauts sort des données sans perte publiée. Ils comptent pour zéro dans les pertes chiffrées (minorant) et sont estimés à part (D-044).
- Stade 3 mesuré par LGD actualisée × capital à l’arrêté (D-043, D-049), avec un délai de résolution unique et sans intérêts courus ; stade 2 sans critère qualitatif, avec une probation de 3 mois sur le seul retard (D-050).
- Le double calcul R contrôle l’implémentation de la formule, pas les hypothèses : une hypothèse fausse partagée par les deux programmes passe.
13 Conclusion
Remplacer la logistique par LightGBM augmente la provision de 28 % à 41 % entre fin 2006 et fin 2008, un écart qui résiste à l’incertitude d’échantillonnage mais dont l’ampleur est divisée par deux avec une année d’entraînement en moins, puis de moins de 9 % ensuite. Ce gain est réel mais second : entraînés sur une période sans crise, les deux modèles sous-estiment les pertes d’un facteur 7 à 10 fin 2007, et le remboursement anticipé, appris lui aussi avant la crise, aggrave cette sous-estimation. Le choix de l’algorithme pèse moins que ce que les données d’entraînement ne contiennent pas.