Le principe : rejouer une décision possible
Un backtest applique des règles à des données historiques pour simuler une suite de décisions. Il ne mesure pas la performance effectivement obtenue par un client. Son intérêt est de montrer comment une méthode se serait comportée dans les conditions retenues.
La date de disponibilité d’une information compte autant que la date qu’elle décrit. Une prévision publiée après la clôture ne peut pas expliquer un ordre exécuté à cette même clôture. Les révisions ultérieures d’une donnée doivent être distinguées de sa version initiale.
Construire le rejeu
Le dossier de test décrit l’univers accessible, les sources, les versions de données, les règles de décision et les conventions d’exécution. La composition de l’univers évolue avec le temps ; un titre disparu ou un fonds fermé ne doit pas être effacé rétrospectivement.
Le calcul tient compte des frais, de la liquidité et des délais retenus. La référence est mesurée sur les mêmes dates et avec des conventions comparables. Si une donnée manque, le traitement retenu et son effet sur la couverture restent visibles.
Illustration chiffrée (hypothèses)
Dans un calendrier hypothétique, une donnée est publiée le 2 du mois. Une décision simulée à la clôture du 1er ne peut pas l’utiliser : elle intervient avant sa publication.
La première exécution admissible dépend ensuite de l’heure de publication, du marché et de la règle d’ordre. Le simple fait de décaler une date ne suffit donc pas à établir que le prix retenu était accessible.
Décision
La décision simulée est prise à la clôture du 1er.
Publication
La donnée supposée est publiée le 2 : elle n’était pas disponible pour la décision précédente.
Exécution
Le premier prix admissible dépend notamment de l’heure et des règles de marché.
Les limites du rejeu
Même une chronologie rigoureuse ne reconstitue pas parfaitement la profondeur du marché, les transactions réellement possibles ou les réactions des autres intervenants. Ces limites comptent particulièrement pour les supports peu liquides.
La méthode elle-même a pu être choisie après plusieurs essais sur la période observée. Le respect des dates ne corrige pas ce risque de sélection. Une analyse hors échantillon et la conservation des essais complètent le contrôle.
En rendez-vous avec le client
Le conseiller distingue clairement le résultat simulé des performances effectivement réalisées. Il explique les dates, les frais retenus, la référence et la manière dont les données manquantes sont traitées.
Une question permet de rendre la méthode concrète : « Qu’aurait-on réellement su au moment de chaque décision ? » La réponse et les limites de la simulation figurent dans le dossier remis au client.
Dans le même module
Pour aller plus loin
- Module B6 : Tester une stratégie (Investissement)
- La méthodologie byzance
Sources
- ESMA, Trends, Risks and Vulnerabilities : indices et performances simulées — ESMA, 2015.
- David H. Bailey et Marcos López de Prado, « How “Backtest Overfitting” in Finance Leads to False Discoveries », Significance, vol. 18, n° 6, p. 22-25 — Wiley, 2021.
- Stephen J. Brown, William Goetzmann, Roger G. Ibbotson et Stephen A. Ross, « Survivorship Bias in Performance Studies », Review of Financial Studies, vol. 5, n° 4, p. 553-580 — Oxford University Press, 1992.
Ces ressources s’adressent aux professionnels du conseil patrimonial. Elles constituent une information générale et pédagogique : ni un conseil en investissement personnalisé, ni un conseil fiscal ou juridique. Les exemples tirés du moteur byzance sont des performances simulées par rejeu historique ; les performances passées ne préjugent pas des performances futures, et tout investissement en unités de compte comporte un risque de perte en capital. Elles ne valent pas heures de formation réglementaire.