Analiza zachowania kursu w przeszłości na bazie określonych zdarzeń (ang. backtesting) nie opiera się na samym wskaźniku. Dopiero jego zaimplementowanie w określone ramy (system transakcyjny) jest w stanie doprowadzić nas do konkretnego zakresu prawdopodobieństwa. Ważne jest jednak, aby pamiętać, że na system składa się nie tylko sygnał wejścia ale również prowadzenie pozycji oraz jej późniejsze zamknięcie. Pisałem o tym w jednym z artykułów pt. "Sygnał wejścia, to jeszcze nie system transakcyjny", opublikowanym w 19 numerze Equity Magazine.Gregi85 pisze: A skąd mógłbym wziąć owe dane liczbowe. Czy są one wynikiem moich własnych subiektywnych poglądów na temat skuteczność danego wskaźnika? Np. według moich obserwacji i złażeń wnioskuje że oscylator MACD sprawdza się w 40%, średnia krocząca 60% a Ichimoku 55%, czy może nie da się określić w procentach skuteczności działania wskaźników?
Wszelkie parametry nie muszą być stałe, jednak ważne jest, aby początkowe zasady odpowiadały na każdą możliwą sytuację rynkową. Tym samym mamy do czynienia z pełną formalizacją systemu, a tylko w takim wydaniu można go odpowiednio testować na danych historycznych (podejście zero-jedynkowe). Szalenie istotne jest też odpowiednie dobranie stopni swobody (elementów systemu odpowiadających za wejście, prowadzenie, wyjście), gdyż zbyt duża ich ilość może spowodować przeoptymalizowanie, czyli zbytnie dopasowanie do krzywej historycznej.
Najczęstszym problemem związanym ze zbytnią optymalizacją systemu jest używanie wskaźników posiadających duże możliwości dobierania ustawień. Tym samym zmiana parametrów jest możliwa do takiego stopnia, że bardzo często można wybrać takie ustawienia, które na historii sprawdzały się najlepiej. Jest to jednak zgubne, gdyż system w takiej formie zazwyczaj nie sprawdzi się w przyszłości. Kiedy używamy przykładowo średnich, dobrze jest, jeżeli system osiąga podobne rezultaty przy trzech różnych parametrach (np. SMA 5, EMA10, EMA 15).
Działając w sposób opisany powyżej chronimy się przed ryzykiem zbytniej optymalizacji, chociaż mimo to najlepszą obroną będzie zawsze uproszczenie. Ograniczenie ilości stopni swobody do minimum oraz wyłączenie większej ilości elementów dla których możemy definiować parametry powoduje, że system z dużym prawdopodobieństwem będzie zachowywał się w przyszłości w podobny sposób, jak na danych historycznych. Prawdą jest, że uzyskujemy tak wyniki nieco ponad przeciętne, jednak zyski w takim przypadku są stosunkowo stabilne (dodatni wskaźnik Sharpe'a przy średnim poziomie drawdown oraz drawdown duration).
Obliczenie prawdopodobieństwa sygnału powinno dotyczyć zatem całego procesu transakcyjnego, jaki po nim następuje, a nie jedynie samego wskazania momentu wejścia. Paradoksalnie jest on najmniej istotnym elementem, a praca na formalizacjach to sztuka balansowania na granicy między optymalizacją zwiększającą poziom osiąganych wyników na koncie realnym, a efektem przeoptymalizowania, który ekstremalnie poprawia wyniki systemy, jednak tylko przy testach na danych historycznych.
Nie można mówić o prawdopodobieństwie sygnałów (trafności), gdy nie weźmiemy pod uwagę współczynnika ryzyka do zysku (ang. risk/reward ratio). Powodem takiego stanu rzeczy jest fakt, że bardzo często za zwiększeniem trafności sygnałów idzie spadek zyskowności poszczególnych pozycji. No ale to już temat na inny wątek.