Comment apparaît le surapprentissage
Une règle peut capter des particularités accidentelles de l’échantillon plutôt qu’une relation durable. Plus le concepteur teste de variantes, plus il risque de retenir une réussite due au hasard.
Bailey et López de Prado décrivent ce mécanisme dans la recherche de stratégies financières. La performance retenue ne peut pas être interprétée correctement si le nombre et la nature des essais restent inconnus.
Séparer conception et évaluation
La méthode distingue les données utilisées pour construire la stratégie de celles réservées à son évaluation. Les paramètres sont figés avant l’examen de la période de test, avec une chronologie qui évite l’utilisation d’observations futures.
Un registre conserve les variantes et les critères de sélection. Une validation glissante peut simuler des recalibrages successifs en utilisant seulement les données antérieures à chaque décision ; les coûts et les changements de régime sont également examinés.
Illustration chiffrée (hypothèses)
Une équipe teste à titre hypothétique 100 règles sur le même historique et ne montre que celle qui a le meilleur résultat. Ce choix peut refléter une sélection favorable au hasard.
Le nombre d’essais ne suffit pas à chiffrer le biais : les règles peuvent notamment être proches ou dépendantes. Leur historique complet permet néanmoins de comprendre comment la règle finale a été choisie.
Essais
Cent règles sont testées sur un même historique.
Sélection
Seule la règle au meilleur résultat est montrée.
Vérification
L’historique des essais et une période indépendante éclairent le risque de sélection.
Ce que le hors échantillon ne garantit pas
Une période dite hors échantillon perd son indépendance si elle guide régulièrement des modifications de la stratégie. Des périodes proches peuvent aussi partager le même contexte économique.
Une validation favorable ne garantit pas la répétition des résultats. Les conditions d’exécution, les relations entre actifs et la structure des marchés peuvent changer après le test.
En rendez-vous avec le client
Le conseiller demande combien de variantes ont été examinées, quels critères ont servi à les départager et quand les paramètres ont été figés. Les résultats écartés font partie de l’explication.
Le client peut ainsi distinguer une observation historique d’une prévision. La présentation décrit la validation et ses limites au lieu de s’appuyer sur la seule meilleure courbe.
Dans le même module
Pour aller plus loin
- Module B6 : Tester une stratégie (Investissement)
- La méthodologie byzance
Sources
- ESMA, Trends, Risks and Vulnerabilities : indices et performances simulées — ESMA, 2015.
- David H. Bailey et Marcos López de Prado, « How “Backtest Overfitting” in Finance Leads to False Discoveries », Significance, vol. 18, n° 6, p. 22-25 — Wiley, 2021.
- Stephen J. Brown, William Goetzmann, Roger G. Ibbotson et Stephen A. Ross, « Survivorship Bias in Performance Studies », Review of Financial Studies, vol. 5, n° 4, p. 553-580 — Oxford University Press, 1992.
Ces ressources s’adressent aux professionnels du conseil patrimonial. Elles constituent une information générale et pédagogique : ni un conseil en investissement personnalisé, ni un conseil fiscal ou juridique. Les exemples tirés du moteur byzance sont des performances simulées par rejeu historique ; les performances passées ne préjugent pas des performances futures, et tout investissement en unités de compte comporte un risque de perte en capital. Elles ne valent pas heures de formation réglementaire.