Tick data - 99% jakość modelowania w MetaTrader 4.

259 · Nieprzeczytany post autor: **259** » 24 sie 2011, 22:45

hmm... powiedzmy, że start() wygląda tak:

int start() {
Print (TimeToStr(TimeCurrent(), TIME_DATE|TIME_MINUTES), " Bid ", Bid, " Ask ", Ask, " Spread ", Ask-Bid);
(...);
}

Czyli że ten Print () robi to z każdym możliiwym tickiem... też są dziury?

Przynajmniej wiemy, że Bid i Ask są jak trzeba. Nic nam to teraz nje pomaga, ale zawsze coś do przodu...

jamesfisher

259 pisze:hmm... powiedzmy, że start() wygląda tak:

int start() {
Print (TimeToStr(TimeCurrent(), TIME_DATE|TIME_MINUTES), " Bid ", Bid, " Ask ", Ask, " Spread ", Ask-Bid);
(...);
}

Czyli że ten Print () robi to z każdym możliiwym tickiem... też są dziury?

Przynajmniej wiemy, że Bid i Ask są jak trzeba. Nic nam to teraz nje pomaga, ale zawsze coś do przodu...

Dziury są co jakiś czas ale w innych miejscach. Tzn gdy puszczam test to zczytuje za każdym razem inne ticki za pomocą powyższej funkcji Print(......) . Zamieszczam trzy testy:

Wygląda jakby luki powstawały losowo. Na powyższych screenach mają luki po kilka dni.

259 · Nieprzeczytany post autor: **259** » 26 sie 2011, 01:09

Coś jest skopane albo z generowaniem danych, albo ze sposobem w jaki są czytane. Przećwiczę ten kawałek u siebie i dam znać.

W mojej wcześniejszej wiadomości co do strefy czasowej jest błąd. Powinno być:

U mnie w tej chwili Admiral demo jest GMT+1
Jeżeli zmienia czas na letni to należy ustawić GMTOffset = 0, DST = 2.
Jeżeli nie to należy ustawić GMTOffset = 1, DST=0

Ale jeszcze raz - to nie jest żrodło problemu.

Warto jeszcze sprawdzić, czy w ogóle są te dane w odpowiednich folderach żródłowych.
Tylko trzeba pamiętać, że Dukas numeruje miesiące od 0.
Tzn. dane z Maja 2007 będą w folderze EURUSD\2007\04\ - czy są tam foldery kolejnych dni (oprócz Sobót), a w nich pliki z tickami?

Np. brakuje w tych przykładach 25, 27, 28, 29 i 30 Maja 2007.

Dodałem: Ale coś jest nie tak:
Jedna dziura jest pomiędzy 24, a 31 Maja 2007, a druga pomiędzy 29 Maja a 4 Czerwca 2007? 29 Maja nagle sie znalazł?
To jest na Admiralu? I EA składa się tylko z tej linii Print()? (orócz niezbędnej struktury).

jamesfisher

259 pisze:Warto jeszcze sprawdzić, czy w ogóle są te dane w odpowiednich folderach żródłowych.
Tylko trzeba pamiętać, że Dukas numeruje miesiące od 0.
Tzn. dane z Maja 2007 będą w folderze EURUSD\2007\04\ - czy są tam foldery kolejnych dni (oprócz Sobót), a w nich pliki z tickami?

Np. brakuje w tych przykładach 25, 27, 28, 29 i 30 Maja 2007.

Dodałem: Ale coś jest nie tak:
Jedna dziura jest pomiędzy 24, a 31 Maja 2007, a druga pomiędzy 29 Maja a 4 Czerwca 2007? 29 Maja nagle sie znalazł?
To jest na Admiralu? I EA składa się tylko z tej linii Print()? (orócz niezbędnej struktury).

Przeprowadziłem analizę. Na początku sprawdziłem katalogi ze ściągniętymi danymi. Wszystkie są wypełnione plikami z tickami. Następnie sprawdziłem plik CSV. Również zawiera prawidłowe dane. Wszystkie ticki ładnie figurują

. Niestety gdy EA (składające się z jednej linii z Printem) czyta sobie co chce, tzn skacze odczytując dane i przez to luki zostają. Zastanawiam się czy to jest taka ułomność MT4, czy też ogólnie jest to wada skryptu birts's patch lub coś innego.

259 · Nieprzeczytany post autor: **259** » 26 sie 2011, 21:00

Nie miałem jeszcze okazji tego sprawdzić - najwcześniej jutro,
Na pewno nie jest to wina MT4 - robiłem setki godzin testów i optymalizacji na rozmaitych danych in nigdy nie trafiłem na coś takiego. A wyszłoby mi to na pewno bo EA które męczę już pod ponad pół roku robi scalping kilka razy dziennie, codziennie.
To musi być coś innego tylko nie mam pojęcia co.
Która to jest wersja MT4? W sensie build?

jamesfisher

259 pisze:Która to jest wersja MT4? W sensie build?

Admiral Markets MT4 , version 4, build 402

259 · Nieprzeczytany post autor: **259** » 27 sie 2011, 11:18

OK, jutro rodzina jedzie na kanikułę więc będę miał trochę czasu na eksperymenty ;-)

Mam jeszcze taką propozycję: czy możesz wygenerować krótszy fxt? Powiedzmy sam 2007 rok. I sprawdzić czy masz dziury? I jeżeli tak to wyślij mi prywatną wiadomość - umówimy sie jak przesłać mi ten plik.
Po to żeby nie okazało się, że pracujemy na czymś zupełnie innym.

Dodano po 13 godzinach:

Aghr, no jasne - to co wyświetla się w konsoli to nie jest wszystko.
Przy dużej ilości danych drukowanych szybko do konsoli, część jest zwyczajnie omijana. Prawdopodobnie jakiś konfikt czasowy związany ze zbyt szybko napływającymi danymi przepełniającymi jakiś bufor czy coś w tym rodzaju.
Jak zajrzysz do logu, będziesz miał tam wszystko. Tyle że sam plik to może być coś ponad 300 MB ;-)

Np. w konsoli mam:

2011.08.27 11:11:23 2007.04.10 13:43 test EURUSD,M1: currTime Tue 2007.04.10 13:43 Bid 1.3432 Ask 1.3435 Spread 0.0003
2011.08.27 11:11:24 2007.04.17 13:46 test EURUSD,M1: currTime Tue 2007.04.17 13:46 Bid 1.3586 Ask 1.3589 Spread 0.0003

Wychodzi tygodniowa dziura.
A w logu są setki linii odpowiadających "brakującym" tickom.

11:11:22 2007.04.10 13:43 test EURUSD,M1: currTime Tue 2007.04.10 13:43 Bid 1.3432 Ask 1.3435 Spread 0.0003
11:11:22 2007.04.10 13:43 test EURUSD,M1: currTime Tue 2007.04.10 13:43 Bid 1.3433 Ask 1.3436 Spread 0.0003
11:11:22 2007.04.10 13:43 test EURUSD,M1: currTime Tue 2007.04.10 13:43 Bid 1.3433 Ask 1.3436 Spread 0.0003
11:11:22 2007.04.10 13:43 test EURUSD,M1: currTime Tue 2007.04.10 13:43 Bid 1.3433 Ask 1.3436 Spread 0.0003
... kontynuacja
11:11:23 2007.04.17 13:45 test EURUSD,M1: currTime Tue 2007.04.17 13:45 Bid 1.3582 Ask 1.3585 Spread 0.0003
11:11:23 2007.04.17 13:45 test EURUSD,M1: currTime Tue 2007.04.17 13:45 Bid 1.3583 Ask 1.3586 Spread 0.0003
11:11:23 2007.04.17 13:45 test EURUSD,M1: currTime Tue 2007.04.17 13:45 Bid 1.3584 Ask 1.3587 Spread 0.0003
11:11:23 2007.04.17 13:45 test EURUSD,M1: currTime Tue 2007.04.17 13:45 Bid 1.3583 Ask 1.3586 Spread 0.0003
11:11:23 2007.04.17 13:45 test EURUSD,M1: currTime Tue 2007.04.17 13:45 Bid 1.3584 Ask 1.3587 Spread 0.0003
11:11:23 2007.04.17 13:46 test EURUSD,M1: currTime Tue 2007.04.17 13:46 Bid 1.3581 Ask 1.3584 Spread 0.0003
11:11:23 2007.04.17 13:46 test EURUSD,M1: currTime Tue 2007.04.17 13:46 Bid 1.3585 Ask 1.3588 Spread 0.0003
11:11:23 2007.04.17 13:46 test EURUSD,M1: currTime Tue 2007.04.17 13:46 Bid 1.3581 Ask 1.3584 Spread 0.0003
11:11:23 2007.04.17 13:46 test EURUSD,M1: currTime Tue 2007.04.17 13:46 Bid 1.3586 Ask 1.3589 Spread 0.0003

Że mi to wcześniej nie przyszło do głowy - nadziałem się na to lata temu i teraz zazwyczaj sprawdzam log, a nie to co mi wyskakuje w konsoli...

Zmodyfikowałem EA tak, żeby pokazywał dziury powyżej 1 godziny i pokazał mi tylko weekendy:

11:04:36 test EURUSD,M1: loaded successfully
11:04:36 test started for testing
11:04:36 2007.04.08 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.04.08 22:00 test EURUSD,M1: prevTime Fri 2007.04.06 22:00 Bid 1.3374 Ask 1.3377 Spread 0.0003
11:04:36 2007.04.08 22:00 test EURUSD,M1: currTime Sun 2007.04.08 22:00 Bid 1.3374 Ask 1.3377 Spread 0.0003
11:04:36 2007.04.15 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.04.15 22:00 test EURUSD,M1: prevTime Fri 2007.04.13 21:59 Bid 1.3554 Ask 1.3557 Spread 0.0003
11:04:36 2007.04.15 22:00 test EURUSD,M1: currTime Sun 2007.04.15 22:00 Bid 1.3554 Ask 1.3557 Spread 0.0003
11:04:36 2007.04.22 22:05 test EURUSD,M1: DZIURA!
11:04:36 2007.04.22 22:05 test EURUSD,M1: prevTime Fri 2007.04.20 21:59 Bid 1.3595 Ask 1.3598 Spread 0.0003
11:04:36 2007.04.22 22:05 test EURUSD,M1: currTime Sun 2007.04.22 22:05 Bid 1.3595 Ask 1.3598 Spread 0.0003
11:04:36 2007.04.29 22:27 test EURUSD,M1: DZIURA!
11:04:36 2007.04.29 22:27 test EURUSD,M1: prevTime Fri 2007.04.27 22:00 Bid 1.3632 Ask 1.3635 Spread 0.0003
11:04:36 2007.04.29 22:27 test EURUSD,M1: currTime Sun 2007.04.29 22:27 Bid 1.3632 Ask 1.3635 Spread 0.0003
11:04:36 2007.05.06 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.05.06 22:00 test EURUSD,M1: prevTime Fri 2007.05.04 21:59 Bid 1.3602 Ask 1.3605 Spread 0.0003
11:04:36 2007.05.06 22:00 test EURUSD,M1: currTime Sun 2007.05.06 22:00 Bid 1.3602 Ask 1.3605 Spread 0.0003
11:04:36 2007.05.13 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.05.13 22:00 test EURUSD,M1: prevTime Fri 2007.05.11 21:59 Bid 1.3535 Ask 1.3538 Spread 0.0003
11:04:36 2007.05.13 22:00 test EURUSD,M1: currTime Sun 2007.05.13 22:00 Bid 1.3535 Ask 1.3538 Spread 0.0003
11:04:36 2007.05.20 22:04 test EURUSD,M1: DZIURA!
11:04:36 2007.05.20 22:04 test EURUSD,M1: prevTime Fri 2007.05.18 21:59 Bid 1.3518 Ask 1.3521 Spread 0.0003
11:04:36 2007.05.20 22:04 test EURUSD,M1: currTime Sun 2007.05.20 22:04 Bid 1.3518 Ask 1.3521 Spread 0.0003
11:04:36 2007.05.27 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.05.27 22:00 test EURUSD,M1: prevTime Fri 2007.05.25 22:00 Bid 1.3447 Ask 1.345 Spread 0.0003
11:04:36 2007.05.27 22:00 test EURUSD,M1: currTime Sun 2007.05.27 22:00 Bid 1.3447 Ask 1.345 Spread 0.0003
11:04:36 2007.06.03 22:12 test EURUSD,M1: DZIURA!
11:04:36 2007.06.03 22:12 test EURUSD,M1: prevTime Fri 2007.06.01 21:59 Bid 1.3443 Ask 1.3446 Spread 0.0003
11:04:36 2007.06.03 22:12 test EURUSD,M1: currTime Sun 2007.06.03 22:12 Bid 1.3443 Ask 1.3446 Spread 0.0003
11:04:36 2007.06.10 22:03 test EURUSD,M1: DZIURA!
11:04:36 2007.06.10 22:03 test EURUSD,M1: prevTime Fri 2007.06.08 22:00 Bid 1.3371 Ask 1.3374 Spread 0.0003
11:04:36 2007.06.10 22:03 test EURUSD,M1: currTime Sun 2007.06.10 22:03 Bid 1.3371 Ask 1.3374 Spread 0.0003
11:04:36 2007.06.17 22:00 test EURUSD,M1: DZIURA!
11:04:36 2007.06.17 22:00 test EURUSD,M1: prevTime Fri 2007.06.15 22:00 Bid 1.3377 Ask 1.338 Spread 0.0003
11:04:36 2007.06.17 22:00 test EURUSD,M1: currTime Sun 2007.06.17 22:00 Bid 1.3377 Ask 1.338 Spread 0.0003
11:04:36 2007.06.24 22:11 test EURUSD,M1: DZIURA!
11:04:36 2007.06.24 22:11 test EURUSD,M1: prevTime Fri 2007.06.22 22:00 Bid 1.3469 Ask 1.3472 Spread 0.0003
11:04:36 2007.06.24 22:11 test EURUSD,M1: currTime Sun 2007.06.24 22:11 Bid 1.3469 Ask 1.3472 Spread 0.0003

I tak dalej.
Dane są ok. Tester też czyta je prawidłowo.
Coś innego powoduje, że EA nie działa jak należy.

jamesfisher

Dziękuję za szczegółowe wyjaśnienia

259 · Nieprzeczytany post autor: **259** » 19 wrz 2011, 21:15

green7 Czy wiesz może, czy te skrypty Birta "oczyszczają" fxt z nadmiernej ilości tików? Bo rzeczywiście testowanie idzie mi w setki godzin...
W zasadzie skoro wolumen nie jest mi potrzebny, wystarczy mi jeden tik na jedną parę Bid/Ask (mówię o rzeczywistych widełkach). Byleby tylko prawidłowo układało się to w czasie.
Tak pytam zanim zacznę znów gryźć kod tych skryptów...

green7 · Nieprzeczytany post autor: **green7** » 20 wrz 2011, 09:23

259 pisze:green7 Czy wiesz może, czy te skrypty Birta "oczyszczają" fxt z nadmiernej ilości tików? Bo rzeczywiście testowanie idzie mi w setki godzin...
W zasadzie skoro wolumen nie jest mi potrzebny, wystarczy mi jeden tik na jedną parę Bid/Ask (mówię o rzeczywistych widełkach). Byleby tylko prawidłowo układało się to w czasie.
Tak pytam zanim zacznę znów gryźć kod tych skryptów...

Wiesz co - akurat tego nie pamiętam, bo tych skryptów używałem nieczęsto. Ale łatwo sprawdzić. Po imporcie danych zerknij w mt4 na volumen i będzie wiadomo (napisz tu przy okazji).
Ja do testów w mt4 dzieliłem przy imporcie ten wolumen przez jakąś sporą liczbę (np. milion) co znacznie testy przyśpieszało.

Edit:
Z tego co na szybko widzę w kodach Birt'a to on sumuje wolumen bid i ask i dzieli to przez 100 tys.
Jest też parametr UseRealVolume jak dasz na false (gdy wolumenu nie potrzebujesz) to wolumen zawsze będzie = 1. Czyli testy będą maksymalnie szybkie.

Jak potrzebujesz łatwo możesz to zmienić:
skrypt Dukascopy2FXT.mq4
linia:
tick_volume += MathAbs(FileReadNumber(ExtCsvHandle) / 100000);
i poniżej kolejna.