Trader, die eine Handelsidee in einem Live-Markt ausprobieren möchten, machen häufig den Fehler, sich ausschließlich auf Backtesting-Ergebnisse zu verlassen, um zu bestimmen, ob das System rentabel sein wird. Während Backtesting Händler mit wertvollen Informationen versorgen kann, ist es oft irreführend und nur ein Teil des Bewertungsprozesses.
Out-of-Sample-Tests und Forward-Performance-Tests bestätigen die Effektivität eines Systems und können die Echtheit eines Systems zeigen, bevor echtes Geld auf dem Spiel steht. Eine gute Korrelation zwischen Backtesting-, Out-of-Sample- und Forward-Performance-Testergebnissen ist für die Bestimmung der Lebensfähigkeit eines Handelssystems von entscheidender Bedeutung.
Backtesting-Grundlagen
Backtesting bezieht sich auf die Anwendung eines Handelssystems auf historische Daten, um zu überprüfen, wie sich ein System im angegebenen Zeitraum verhalten hätte. Viele der heutigen Handelsplattformen unterstützen Backtesting. Trader können Ideen mit wenigen Tastenanschlägen testen und einen Einblick in die Effektivität einer Idee erhalten, ohne das Risiko von Geldern auf einem Handelskonto einzugehen. Durch Backtesting können einfache Ideen bewertet werden, z. B. die Leistung eines gleitenden Durchschnitts bei historischen Daten oder komplexere Systeme mit einer Vielzahl von Eingaben und Triggern.
Solange eine Idee quantifiziert werden kann, kann sie erneut getestet werden. Einige Händler und Investoren suchen möglicherweise das Fachwissen eines qualifizierten Programmierers, um die Idee in eine testbare Form zu bringen. In der Regel codiert ein Programmierer die Idee in die proprietäre Sprache, die auf der Handelsplattform gehostet wird. Der Programmierer kann benutzerdefinierte Eingabevariablen einbinden, mit denen der Händler das System "optimieren" kann.
Ein Beispiel hierfür wäre das oben erwähnte einfache Übergangssystem mit gleitendem Durchschnitt: Der Händler wäre in der Lage, die Längen der beiden im System verwendeten gleitenden Durchschnitte einzugeben (oder zu ändern). Der Händler könnte einen Backtest durchführen, um zu bestimmen, welche Längen von gleitenden Durchschnitten bei den historischen Daten am besten abgeschnitten hätten.
Optimierungsstudien
Viele Handelsplattformen ermöglichen auch Optimierungsstudien. Dies beinhaltet die Eingabe eines Bereichs für die angegebene Eingabe und die "Rechenaufgabe" des Computers, um herauszufinden, welche Eingabe die beste Leistung erbracht hätte. Eine Optimierung mit mehreren Variablen kann die Berechnung für zwei oder mehr Variablen durchführen, um zu bestimmen, welche Kombinationen das beste Ergebnis erzielt hätten.
Zum Beispiel können Händler dem Programm mitteilen, welche Inputs sie zu ihrer Strategie hinzufügen möchten. Diese würden dann unter Berücksichtigung der getesteten historischen Daten auf ihre Idealgewichte optimiert.
Backtesting kann insofern aufregend sein, als ein unrentables System mit ein paar Optimierungen oft magisch in eine Geldmaschine verwandelt werden kann. Leider führt das Optimieren eines Systems, um die höchste Rentabilität in der Vergangenheit zu erzielen, häufig zu einem System, das im realen Handel eine schlechte Leistung erbringt. Durch diese Überoptimierung entstehen Systeme, die nur auf dem Papier gut aussehen.
Unter Kurvenanpassung versteht man die Verwendung von Optimierungsanalysen, um die höchste Anzahl von Gewinngeschäften mit dem größten Gewinn aus den im Testzeitraum verwendeten historischen Daten zu erzielen. Obwohl das Backtesting-Ergebnis beeindruckend aussieht, führt die Kurvenanpassung zu unzuverlässigen Systemen, da die Ergebnisse im Wesentlichen auf diesen bestimmten Daten- und Zeitraum zugeschnitten sind.
Backtesting und Optimierung bieten einem Händler viele Vorteile, aber dies ist nur ein Teil des Prozesses bei der Bewertung eines potenziellen Handelssystems. Der nächste Schritt eines Händlers besteht darin, das System auf historische Daten anzuwenden, die in der anfänglichen Backtesting-Phase nicht verwendet wurden.
In-Sample versus Out-of-Sample-Daten
Wenn Sie eine Idee mit historischen Daten testen, ist es vorteilhaft, einen Zeitraum mit historischen Daten für Testzwecke zu reservieren. Die anfänglichen historischen Daten, auf denen die Idee getestet und optimiert wird, werden als In-Sample-Daten bezeichnet. Der reservierte Datensatz wird als Out-of-Sample-Daten bezeichnet. Dieses Setup ist ein wichtiger Teil des Evaluierungsprozesses, da auf diese Weise die Idee an Daten getestet werden kann, die nicht Bestandteil des Optimierungsmodells waren.
Dies hat zur Folge, dass die Idee in keiner Weise von den Out-of-Sample-Daten beeinflusst wurde und die Händler bestimmen können, wie gut das System bei neuen Daten, dh im realen Handel, abschneiden kann.
Vor dem Starten eines Backtests oder einer Optimierung können Händler einen Prozentsatz der historischen Daten beiseite legen, die für Tests außerhalb der Stichprobe reserviert werden sollen. Eine Methode besteht darin, die historischen Daten in Drittel aufzuteilen und ein Drittel für den Test außerhalb der Stichprobe zu trennen. Nur die Daten in der Stichprobe sollten für die anfänglichen Tests und Optimierungen verwendet werden.
Die folgende Abbildung zeigt einen Zeitrahmen, in dem ein Drittel der historischen Daten für Tests außerhalb der Stichprobe reserviert ist und zwei Drittel für Tests innerhalb der Stichprobe verwendet werden. Obwohl die folgende Abbildung die Daten zu Beginn des Tests zeigt, bei denen die Stichprobe überschritten wurde, würde bei typischen Verfahren der Teil der Stichprobe unmittelbar vor der Vorwärtsleistung liegen.
Eine Zeitleiste, die die relative Länge von In-Sample- und Out-of-Sample-Daten darstellt, die im Backtesting-Prozess verwendet werden. Bild von Julie Bang © Investopedia 2020
Die Korrelation bezieht sich auf Ähnlichkeiten zwischen den Leistungen und den Gesamttrends der beiden Datensätze. Korrelationsmetriken können zur Auswertung von Strategie-Leistungsberichten verwendet werden, die während des Testzeitraums erstellt wurden (eine Funktion, die von den meisten Handelsplattformen bereitgestellt wird). Je stärker die Korrelation zwischen den beiden Faktoren ist, desto besser ist die Wahrscheinlichkeit, dass ein System beim Forward-Performance-Test und beim Live-Handel eine gute Leistung erzielt.
Die folgende Abbildung zeigt zwei verschiedene Systeme, die mit In-Sample-Daten getestet und optimiert und dann auf Out-of-Sample-Daten angewendet wurden. Das Diagramm auf der linken Seite zeigt ein System, das eindeutig kurvenangepasst war, um gut mit den In-Sample-Daten zu arbeiten, und bei den Out-of-Sample-Daten vollständig versagt hat. Die Grafik auf der rechten Seite zeigt ein System, das sowohl bei In- als auch Out-of-Sample-Daten eine gute Leistung erbringt.
Zwei Aktienkurven. Die Handelsdaten vor jedem gelben Pfeil stehen für die Stichprobenprüfung. Die zwischen den gelben und roten Pfeilen generierten Trades zeigen Tests außerhalb der Stichprobe an. Die Trades nach den roten Pfeilen stammen aus den Forward-Performance-Testphasen.
Sobald ein Handelssystem unter Verwendung von In-Sample-Daten entwickelt wurde, kann es auf die Out-of-Sample-Daten angewendet werden. Händler können die Performance-Ergebnisse zwischen den In-Sample- und Out-of-Sample-Daten auswerten und vergleichen.
Wenn zwischen In-Sample- und Out-of-Sample-Tests nur eine geringe Korrelation besteht, wie in der linken Grafik in der Abbildung oben dargestellt, ist das System wahrscheinlich überoptimiert und wird im Live-Handel keine gute Leistung erbringen. Wenn eine starke Korrelation in der Leistung besteht (siehe Abbildung rechts), umfasst die nächste Bewertungsphase eine zusätzliche Art von Tests außerhalb der Stichprobe, die als Vorwärtsleistungstests bezeichnet wird.
Grundlagen für Forward-Leistungstests
Forward-Performance-Tests, auch als Papierhandel bekannt, bieten Händlern einen weiteren Satz von Out-of-Sample-Daten, anhand derer sie ein System bewerten können. Forward Performance Testing ist eine Simulation des tatsächlichen Handels und beinhaltet die Befolgung der Systemlogik in einem Live-Markt. Es wird auch als Papierhandel bezeichnet, da alle Geschäfte nur auf Papier ausgeführt werden. Das heißt, Trade-Ein- und -Ausgänge werden zusammen mit jeglichem Gewinn oder Verlust für das System dokumentiert, es werden jedoch keine echten Trades ausgeführt.
Ein wichtiger Aspekt beim Testen der Vorwärtsleistung besteht darin, die Systemlogik genau zu befolgen. Andernfalls wird es schwierig, wenn nicht unmöglich, diesen Schritt des Prozesses genau zu bewerten. Händler sollten ehrlich zu allen Handelsübernahmen und -ausgängen sein und Verhaltensweisen wie Kirschpflücken vermeiden oder keinen Handel auf Papier einschließen, in dem begründet wird, dass "ich diesen Handel niemals eingegangen wäre". Wenn der Handel gemäß der Systemlogik stattgefunden hätte, sollte er dokumentiert und ausgewertet werden.
Viele Broker bieten ein simuliertes Handelskonto an, auf dem Trades platziert und der entsprechende Gewinn und Verlust berechnet werden können. Die Verwendung eines simulierten Handelskontos kann eine semi-realistische Atmosphäre schaffen, in der Sie den Handel üben und das System weiter bewerten können.
Die obige Abbildung zeigt auch die Ergebnisse für Forward-Leistungstests auf zwei Systemen. Das in der linken Tabelle dargestellte System funktioniert auch nach dem anfänglichen Testen der Stichprobendaten nicht mehr gut. Das in der rechten Grafik gezeigte System zeigt jedoch weiterhin eine gute Leistung in allen Phasen, einschließlich der Vorwärtsleistungstests. Ein System, das positive Ergebnisse mit einer guten Korrelation zwischen In-Sample-, Out-of-Sample- und Forward-Performance-Tests aufweist, kann in einem Live-Markt implementiert werden.
Die Quintessenz
Backtesting ist ein wertvolles Werkzeug, das auf den meisten Handelsplattformen verfügbar ist. Durch die Aufteilung historischer Daten in mehrere Gruppen für In-Sample- und Out-of-Sample-Tests erhalten Händler ein praktisches und effizientes Mittel zur Bewertung einer Handelsidee und eines Handelssystems. Da die meisten Trader beim Backtesting Optimierungstechniken anwenden, ist es wichtig, das System anschließend anhand sauberer Daten zu bewerten, um seine Rentabilität zu bestimmen.
Die Fortsetzung der Out-of-Sample-Tests mit Forward-Performance-Tests bietet eine weitere Sicherheitsstufe, bevor ein System auf den Markt gebracht wird, bei dem echtes Geld riskiert wird. Positive Ergebnisse und eine gute Korrelation zwischen Backtesting innerhalb und außerhalb der Stichprobe und Forward Performance Testing erhöhen die Wahrscheinlichkeit, dass ein System im tatsächlichen Handel eine gute Leistung erbringt.
