Różnice w backtestach na danych Forex Tester i Alpari

[johnyjj2]

Cześć,

przetestowałem swój system na kilka sposobów - pierwszy to konto demo Noble Markets, dane historyczne z ForexTester.com i wyniki są bardzo dobre (zarówno dla "Every Tick" jak i "Open Prices Only", na danych z wielu lat). Ten sam system przetestowałem też na koncie demo Alpari, dane pobrane przez przycisk "Download" w "History centre" (ponieważ dla Alpari MT4 nie pobiera danych z MetaQuotes, tylko swoje własne) i wyniki są znacznie gorsze.

W obu testach uwzględniłem ten sam spread, tą samą parę i ten sam timeframe. Co może odpowiadać za taką różnicę? (Za różnicę odpowiadają dane historyczne, ale dlaczego dla danych z tych źródeł różnica nie jest niewielka, tylko tak duża)?

Pozdrawiam!

[green7]

Co może ? Cokolwiek ....

- po pierwsze jak rozumiem działałeś na różnych danych (innych w forex testerze innych w mt4) - więc w większości przypadków różne będą wyniki strategii.
- po drugie obie platformy mogą inaczej liczyć poszczególne wskaźniki
- po trzecie strategię z forex testera trzeba przepisać w mql'u - samo to może generować już błędy
- po czwarte forex tester ma swój własny algorytm generowania ticków, zapewne różny od algorytmu w mt4
- po piąte dane z history center mt4 nie są zbyt specjalnie dobrej jakości. A jeśli już o danych (znowu) mowa to te z forextestera i Alpari mają różne strefy czasowe. (FT ma zdaje się GMT a Alpari o ile pamiętam GMT+2 i dodatkowo jeszcze przesunięcia zima/lato).

I takich szczegółów pewnie można by wymienić jeszcze ze 3 razy tyle.

[johnyjj2]

Cześć,

dzięki za odpowiedź! Z ForexTestera nie korzystałem, a jedynie z danych historycznych ForexTester, zaimportowanych do MetaTrader4 z kontem demo od Noble Markets (wcześniej testowałem na koncie demo ThinkForex, też z danymi od ForexTester). Natomiast na drugim koncie (demo od Alpari) ściągnąłem dane przez przycisk "Pobierz" w platformie MT4 Alpari (to nie są dane MetaQuotes, ale dane Alpari, pomimo iż import odbywa się z wewnątrz MT4). Docelowo chciałbym uruchomić system na MT4 Noble Markets. (Sprawdziłem również system na MT4 Noble Markets, ale STP i tam on nie działa). Używam EURUSD M15.

Wykonałem jeszcze inne sprawdzenie, tj. na MT4 Alpari skopiowałem pliki hst z danymi historycznymi z MT4 Noble Markets (dane Forex Tester) i system zaczął działać, czyli różnica jest rzeczywiście w danych historycznych. Również sprawdziłem, czy system działa, jeśli dane z Forex Tester przesunę o +1 godzinę (system dalej działa) albo dane z Alpari przesunę o -1 godzinę (system dalej nie działa). Czyli nie jest przyczyną przesunięcie czasowe raczej.

Wygląda na to, że jedyną opcją będzie znalezienie takich parametrów systemu, które działają zarówno dla danych ForexTester jak i danych Alpari. Może problemem jest zbyt bliski stop loss i stąd takie różnice w działaniu systemu na różnych danych? Które dane mogą być bardziej wiarygodne dla Noble Markets, dane z Forex Tester czy od Alpari? Jakie jeszcze inne czynniki mogą mieć wpływ na tą różnicę lub co więcej powinienem uwzględnić, aby mieć większą pewność, że system będzie działał tak, jak się tego można spodziewać z backtestów?

Pozdrawiam!

[QTrader]

Jakie jeszcze inne czynniki mogą mieć wpływ na tą różnicę lub co więcej powinienem uwzględnić, aby mieć większą pewność, że system będzie działał tak, jak się tego można spodziewać z backtestów?

[/quote]

Zrób warunki na zamykanie i otwieranie transakcji tylko na otarciach świec i porównaj wyniki miedzy brokerami.

Może problemem jest zbyt bliski stop loss i stąd takie różnice w działaniu systemu na różnych danych?

Bardzo prawdopodobne.

Które dane mogą być bardziej wiarygodne dla Noble Markets, dane z Forex Tester czy od Alpari?

Te na których system nie działa.

[johnyjj2]

Dzięki za odpowiedź!

Sprawdziłem jeszcze kilka innych systemów, które miały obiecujące wyniki przy backtestach na ostatnich 12 latach danych historycznych ForexTester i wszystkie tracą bardzo dużo na danych z Alpari. Może to jednak coś jest nie w porządku nie z systemem tylko z danymi ForexTester? Jak mogę sprawdzić wiarygodność danych ForexTester?

Zrób warunki na zamykanie i otwieranie transakcji tylko na otarciach świec i porównaj wyniki miedzy brokerami.

Czy możesz mnie jakoś pokrótce naprowadzić na to, jak coś takiego mogę zakodować? Bo sama zmiana modelu na Open Prices Only na pewno nie wystarczy .

[green7]

Dane z Forextester to o ile się nie mylę to samo co dane z Forexite.
Pytanie jaka jest ich jakość ... osobiście nie sprawdzałem ale np. tutaj: http://www.forexfactory.com/showthread.php?t=391998 ktoś zauważa, że niespecjalna ....
Jeśli rzeczywiście są tam takie przypadki jak opisany to łatwo zauważyć je przeglądając na szybko wykres. Ewentualnie łatwo też porównać z innymi danymi (choć trzeba oczywiście uwzględnić strefy czasowe).

Ogólnie myślę, że prościej byłoby oprzeć się na danych z DukasCopy, te mają chyba najlepszą opinię z darmowych źródeł no i łatwo (w miarę) można przy ich pomocy uzyskać testy z jakością 99%

[johnyjj2]

Dzięki za odpowiedź!

Sprawdziłem ten system, który dawał dobre wyniki na danych z ForexTester i złe na Alpari, również z danymi z FXDD oraz HistData - na obu dodatkowych źródłach historycznych wyniki są również złe. Łatwiej mi uwierzyć, że dane Alpari+FXDD+HistData są wiarygodne, a ForexTester=Forexite nie są, niż odwrotnie. Choć z drugiej strony jestem ciekaw, czy rzeczywiście to, o czym napisali w linku, który podałeś, odpowiada za te różnice.

Zapytałem również na ich forum, co o tym sądzą. Stwierdzili, że może być za to odpowiedzialna różnica między czterema lub pięcioma cyframi - sprawdziłem i nie jest. Również sprawdziłem wpływ przesunięcia czasu na danych oraz parametrów symbolu - żadna z tych przyczyn nie jest istotna, a jedynie same dane historyczne.

A co do danych DukaScopy, to nie widzę ich nigdzie dla MT4, więc pewnie jakieś konwersje trzeba by przeprowadzać, o czym za bardzo pojęcia nie mam. No, ale chyba jeśli zacznę korzystać z danych historycznych Alpari to będzie to rozsądny wybór.

Aktualnie próbuję testować różne systemy dostępne na Code Base na parze EURUSD M15. Może coś ciekawego uda mi się znaleźć . A jak Ty swój znalazłeś/napisałeś ? Choć ja bardziej skupiam poszukiwania na systemie działającym długoterminowo.

Pozdrawiam!

[green7]

Masz tu na forum wątek o jakości 99% poczytaj/zapytaj jak tam z konwersją danych z Dukasa. Ostatnio pozmieniali sporo w bulidach mt4 i nie jestem na bieżąco ....
A dane Alpari (te dostępne w history center) nie są zbyt dobre.

[johnyjj2]

Cześć,

dzięki za odpowiedź! Przyjrzałem się danym z Dukascopy i nie jestem całkiem przekonany, czy są one takie dobre. Ściągnąłem sobie dane ASK i dane BID dla M15 z okresu 2012.07.01 - 2013.07.01 i widzę tam dużo nieoczekiwanych "zer", tzn. wartości, gdy wszystkie cztery ceny są takie same, a volume wynosi zero lub inną, niewielką wartość (tak, jakby w czasie, gdy rynek nie działa, jakieś pojedyncze transakcje były zawierane). Do tego, porównując oba pliki programem WinMerge zauważyłem, że te okresy "zer" wcale się nie pokrywają dla Bid oraz Ask.

Co więcej, sam program na stronie do pobierania danych też nie jest idealny - za pierwszym razem wyciął mi jeden miesiąc z pobieranych danych, nie informując mnie o tym. Dopiero, jak pobrałem po raz drugi, plik był prawidłowy.

Co do konwersji nie uzyskałem odpowiedzi (http://forex-nawigator.biz/forum/konwer ... 23681.html). Mogę konwersję samemu sobie zaprogramować, ale mam kilka niejasności odnośnie sposobu wykonania tego. Mogę np. wyliczyć średnią z obu cen (z obu plików, Bid i Ask), jednak sposób eliminacji tych "zer" z danych jest trochę problematyczny. (Alternatywnie, mogę użyć danych z M1 lub ticków, ale pobieranie ticków jest możliwe tylko dzień po dniu z ich strony, a dane M1 też mają "zera").

Pozdrawiam!

[QTrader]

Ściągnąłem sobie dane ASK i dane BID dla M15 z okresu 2012.07.01 - 2013.07.01 i widzę tam dużo nieoczekiwanych "zer", tzn. wartości, gdy wszystkie cztery ceny są takie same, a volume wynosi zero lub inną, niewielką wartość (tak, jakby w czasie, gdy rynek nie działa, jakieś pojedyncze transakcje były zawierane)

To weekendy i święta.