Backtest je skvělý. Proč tě realita stejně nepříjemně překvapí?
Krásná, plynule rostoucí křivka. Drawdown pod 10 %. Výnos, ze kterého se točí hlava. Kdo někdy backtestoval strategii, ten pocit zná: tohle je ono.
Pak strategie poběží na ostrém účtu a za pár měsíců vypadá úplně jinak.
Tenhle článek není proti backtestu. Bez něj se seriózně obchodovat nedá a automatickou strategii bez něj rozumně postavit nejde. Je o tom, proč backtest skoro vždycky ukáže hezčí svět, než je ten skutečný, a jak ten rozdíl zmenšit.
Proč je backtest super
Začněme tím dobrým, protože toho je hodně:
- Levně zabije špatný nápad. Strategie, která neprojde ani backtestem, by tě na ostrém účtu stála peníze. Backtest tě stojí jen čas.
- Předem ti ukáže drawdown. Uvidíš, jak hluboké a jak dlouhé propady můžeš čekat, dřív než je zažiješ na vlastních penězích.
- Testuje pravidla bez emocí. Backtest nezpanikaří, neposune stop-loss a po třech ztrátách nepřeskočí obchod. Ukáže ti, co dělají pravidla sama.
- Je základem každé AOS. Víc o tom v článku AOS: tvrdá matematika za snem o svobodě.
Problém tedy není v backtestu. Problém je v tom, čemu z něj věříme.
Co říkají data
O rozdílu mezi backtestem a skutečností nemáme jen dojmy, máme velké studie.
888 algoritmů na Quantopianu. V roce 2016 platforma Quantopian porovnala backtesty 888 obchodních algoritmů s tím, jak si vedly po spuštění. Každý sledovala nejméně půl roku. Sharpe ratio z backtestu, jedna z nejpoužívanějších metrik, předpovídalo skutečný výsledek prakticky nijak. A čím víc autoři strategii testovali a ladili, tím větší byl rozdíl mezi backtestem a realitou.
Zajímavý detail: některá čísla z backtestu realitu předpovídala. Byla to volatilita a maximální drawdown. Backtest tedy o riziku vypovídá víc než o výnosu. Proto se vyplatí ptát se na drawdown, jak jsme psali v článku o drawdownu.
97 publikovaných strategií. Ekonomové McLean a Pontiff prošli 97 akciových strategií, které akademici zveřejnili jako ziskové. Mimo období, na kterém byly vyzkoušené, vydělávaly v průměru o 26 % méně, po zveřejnění o 58 % méně. Nejvíc spadly ty, které měly v původním testu nejlepší výsledky.
Matematika přeoptimalizace. Bailey, Borwein, López de Prado a Zhu v roce 2014 ukázali, že skvělý backtest vznikne čistě náhodou už po vyzkoušení relativně malého počtu variant strategie. A ten, kdo výsledek prezentuje, skoro nikdy neřekne, kolik variant zkoušel.
Nejlepší backtest často neznamená nejlepší strategii. Často znamená nejlépe vyladěnou náhodu.
Šest důvodů, proč tě realita překvapí
1. Strategie se naučila minulost, ne trh
Říká se tomu přeoptimalizace (overfitting). Každý další parametr, filtr nebo výjimka backtest vylepší, protože strategii přizpůsobí konkrétním datům. Jenže příště se trh přesně stejně chovat nebude.
Varovné signály: hodně parametrů, výjimky typu „neobchoduj ve čtvrtek v březnu“, podivně přesná čísla (klouzavý průměr 37 místo 30 nebo 40) a výsledek, který se zhroutí, když parametr kousek posuneš.
2. Náklady jsou v testu hezčí než ve skutečnosti
Starší testery, například v MetaTraderu 4, běžně počítají s jedním pevným spreadem pro celé testované období. Skutečný spread se ale mění. Rozšiřuje se při zprávách a hlavně kolem půlnoci, jak jsme rozebírali v článku Záhada půlnočních gapů. K tomu přičti skluz, komise a swapy.
Scalpovací strategie, která v testu vydělává dva pipy na obchod, může po reálných nákladech skončit v mínusu. Ani test na skutečných ticích s historickým spreadem to nevyřeší úplně: skluz, zpoždění a podmínky konkrétního brokera v něm chybí.
3. Backtest neví, co se dělo uvnitř svíčky
Pokud tester nepracuje se skutečnými tiky, ale jen se svíčkami, nezná pořadí pohybů ceny. Když se cena v jedné svíčce dotkla stop-lossu i take-profitu, tester si musí vybrat, co bylo dřív, a nemusí vybrat správně. U strategií s těsnými stopy a cíli to dokáže výsledek zásadně zkreslit.
4. Strategie vidí budoucnost
Tzv. look-ahead bias: strategie v backtestu použije informaci, kterou v daném okamžiku ještě nemohla mít. Typicky jde o vstup podle zavírací ceny svíčky, která ještě nezavřela, nebo o indikátory, které se zpětně překreslují, třeba ZigZag. V historii vypadají geniálně, protože ukazují vrcholy a dna, o kterých se ve skutečnosti dozvíš až dodatečně.
5. Trh se změnil
I strategie, která výhodu opravdu měla, ji může ztratit. Trh se střídá mezi trendem a bočním pohybem a mezi klidem a vysokou volatilitou. Výhoda navíc slábne, když ji objeví další lidé, což je přesně to, co ukázali McLean a Pontiff. Víc v článku Proč i úspěšné strategie časem selhávají.
6. V backtestu neplyne čas
Tohle je nejvíc podceňovaný rozdíl. Test pěti let proběhne za pár minut. Sedmiměsíční propad je v grafu malý zub, který přejedeš pohledem.
Ve skutečnosti je to sedm měsíců, kdy každý týden vidíš účet pod vrcholem a ptáš se, jestli strategie ještě funguje. Spousta lidí ji v tu chvíli vypne. Backtest takovou chvíli nikdy nezažije. Ty ano.
Jak backtestovat, aby tě realita překvapila méně
Rozdíl mezi backtestem a realitou úplně odstranit nejde. Zmenšit ho ale jde:
- Out-of-sample. Část dat si schovej a strategii na ní vůbec nelaď. Ladíš na jedné části historie, ověřuješ na druhé. Když se výsledek na schovaných datech zhroutí, je to silný signál, že sis naladil minulost.
- Walk-forward. Rozšířená verze: strategii opakovaně ladíš na jednom úseku, testuješ na následujícím a takhle projdeš celou historii. Blíží se to tomu, jak bys strategii skutečně používal.
- Robustní parametry. Hledej plošinu, ne špičku. Pokud strategie funguje s klouzavým průměrem 30, měla by podobně fungovat i s 25 nebo 35. Když funguje jen s 37, je to nejspíš náhoda.
- Méně parametrů. Každý parametr navíc je další možnost, jak se přizpůsobit minulosti. Jednodušší strategie bývají odolnější.
- Konzervativní náklady. Počítej s horším spreadem, skluzem a komisí, než čekáš. Když strategie přežije přísnější náklady, máš rezervu.
- Monte Carlo. Stokrát nebo tisíckrát zamíchej pořadí obchodů z backtestu a sleduj, jak se mění drawdown. Uvidíš, že drawdown z backtestu je jen jedno z mnoha možných čísel, a ne nutně to nejhorší.
- Forward test. Než strategii pustíš na velký účet, nech ji běžet na demu nebo na malém ostrém účtu. Teprve tam uvidíš skutečné náklady a plnění.
- Počítej s horším výsledkem. Ber výsledek backtestu spíš jako optimistický odhad než jako očekávání. Pokud by strategie dávala smysl jen tehdy, když bude realita stejně dobrá jako test, smysl nedává.
Na co se zeptat prodejce robota
Když ti někdo prodává automatickou strategii a dokládá ji backtestem, zeptej se:
- Kolik variant strategie jste vyzkoušeli, než vznikla tahle?
- Je část výsledku out-of-sample, tedy na datech, na kterých se strategie neladila?
- S jakým spreadem, skluzem a komisí test počítá?
- Běží strategie na ostrém účtu? A jak moc se tam výsledek liší od backtestu?
Nejdůležitější je odpověď na poslední otázku. Backtest je hypotéza, skutečný test přichází až na ostrém účtu. Jak takový účet číst, rozebíráme v článku Jak si přečíst cizí track record.
Shrnutí
Backtest je skvělý nástroj, jen musíš vědět, na co ho používáš. Dobře ti řekne, která strategie nefunguje. A o riziku ti řekne víc než o výnosu. Mnohem hůř ti řekne, kolik vydělá strategie, která funguje.
Krásná křivka v testu je začátek práce, ne její konec.