Różnice w danych historycznych: Ducascopy vs Alior Trader

[peter1909]

Witam wszystkich,

Jako początkujący umieszczam temat w tym wątku - być może gdzieś indziej pasuje bardziej.

W ramach przygotowań do testowania systemów na danych historycznych postanowiłem zrozumieć skąd się takie dane właściwie biorą i na ile są spójne między brokerami. W ramach takich analiz postanowiłem porównać dane tickowe z Alior Trader (z rachunku real) oraz z DataFeed Ducascopy (link).

Następnie w excelu sprowadziłem sobie dane do postaci sekundowej, sprowadzając je w następujący sposób:
1. Dla danych AliorTrader wziąłem Low i High z wszystkich ticków w danej sekundzie
2. Dla danych Ducascopy wziąłem najniższe bid i najwyższe ask w danej sekundzie.

Celem który chciałem osiągnąć było upewnienie się że dane transakcyjne AliorTrader mieszczą się wewnątrz korytarza stworzonego przez dane ofertowe Ducascopy (bo jeżeli dobrze rozumiem, DataFeed przedstawia zapis najlepszej oferty w danej chwili).

Jak możecie się domyślić, rezultaty mnie zaniepokoiły - okazało się, że jest cała masa przypadków, w których nastąpiły wybicia. W załączonym pliku excel obrazuje to kolumna I oraz J. Pierwsza z nich pokazuje o ile pipsów Low z Alior przekroczył Ask Ducascopy z danej sekundy (+) lub o ile pipsów był poniżej Bid z danej sekundy (-). Kolumna J analogicznie.

I w tym miejscu prośba do bardziej doświadczonych forumowiczów:
1. Czy dobrze rozumiem, że dane dostarczane przez DucaScopy w ramach DataFeed są danymi obrazującymi ewolucję najlepszych ofert bid/ask i nie zawierają informacji o transakcjach?
2. Analogicznie, czy dane AliorTrader są danymi transakcyjnymi? Dlaczego wówczas AliorTrader nie zawiera informacji o wolumenie?
3. Czy zobrazowane różnice w danych są normalne na rynku między brokerami? Dotąd sądziłem, że ECNy generalnie mają podobnych liquidity providers i w efekcie transakcje zawarte powinny z reguły mieścić się w ramach danych o najlepszych ofertach?
4. Czy w ramach danych historycznych dostarczanych przez ECNy znajdują się zapisy tylko transakcji dokonanych w ramach tych ECNów, czy też zapis transakcji na całym rynku?

Z góry dziękuję za naszkicowanie mi mechanizmu powstawania danych historycznych - bardzo mnie interesuje na ile to wszystko jest spójne w zależności od brokera.

P.



PS. Załączona analiza jest obcięta ze względu na rozmiar załącznika, ale jej rezultaty są podobne dla większej ilości prób.

[green7]

- Po pierwsze mam pewne wątpliwości czy dobrze obrobiłeś dane. Jak widać w Twoim arkuszu w Dukasie masz często ujemny spread (Bid większe od Ask) co wprowadza wątpliwość.. To raczej widna Twojej obróbki niż danych (jakie dane pobrałeś z duksa - tickowe ?)

- Po drugie czy uwzględniłeś, że dane z Dukasa są w GMT ? Zapewne tak bo miałbyś większe różnice - ale wolę zapytać ...

- Po trzecie sekunda to rzecz względna. W tym wypadku. Czy zegar Twojego komputera jest dokładnie zsynchronizowany z serwerem Dukascopy ? Nie sądzę... więc często "na granicach" sekund będziesz miał przekłamania. Czas transferu przez sieć (przy logowaniu ticków) zwiększy je dodatkowo.
Chyba jedyne jak możesz to obejść to zwiększyć timeframe

1. Czy dobrze rozumiem, że dane dostarczane przez DucaScopy w ramach DataFeed są danymi obrazującymi ewolucję najlepszych ofert bid/ask i nie zawierają informacji o transakcjach?

Tak, to aktualnie najlepsze oferty kupna sprzedaży.

2. Analogicznie, czy dane AliorTrader są danymi transakcyjnymi? Dlaczego wówczas AliorTrader nie zawiera informacji o wolumenie?

Analogicznie masz tu dane aktualnych najlepszych ofert. Jak chcesz volumen to sobie go zloguj. W aliorze masz okno DOM - tam o ile pamięć mnie nie myli widać volumen.
Z tym, że w obu wypadkach (alior i dukas) to nie jest volumen przeprowadzonych transakcji. To volumen najlepszych pozycji w tabeli ofert.

3. Czy zobrazowane różnice w danych są normalne na rynku między brokerami? Dotąd sądziłem, że ECNy generalnie mają podobnych liquidity providers i w efekcie transakcje zawarte powinny z reguły mieścić się w ramach danych o najlepszych ofertach?

Generalnie podobne ceny są jak widać. Ale nie będą identyczne, bo przecież nie identyczni LP działają w Aliorze i Dukasie.
Prosty przykład: powiedzmy, że grasz w Dukasie i składasz ofertę (masz taką możliwość). Akurat mamy duży spread, Twoja oferta jest najlepsza i ląduje na pierwszym miejscu w arkuszu zleceń, od razu znajduje się ktoś na nią chętny.
Czyli w datafeedzie dukasa spread w tej sekundzie będzie niższy, w historii pojawi się info o Twojej ofercie.
Zakładanie, że tak samo zachowa się datafeed Aliora jest błędne: bo niby na jakiej podstawie ?

Czy w ramach danych historycznych dostarczanych przez ECNy znajdują się zapisy tylko transakcji dokonanych w ramach tych ECNów, czy też zapis transakcji na całym rynku?

Nie ma czegoś takiego jak transakcje na całym rynku. Dlaczego Alior miałby mieć info o transakcjach na Dukasie ?

[raposo]

Hasło klucz - rynek zdecentralizowany . U każdego ECNa dane mogą mieć rozbieżności. Z resztą nie tylko u ECNa... Resztę już szczegółowo omówił green.

[green7]

Wolałem nie wywoływać wilka Reptile z lasu pisząc słowo "zdecentralizowany"

[leszczu]

To dane tickowe z Dukasa trzeba w jakiś sposób obrabiać?
Nie wystarczy używać tak jak są?

[peter1909]

Dzięki za wyjaśnienia,

- Po pierwsze mam pewne wątpliwości czy dobrze obrobiłeś dane. Jak widać w Twoim arkuszu w Dukasie masz często ujemny spread (Bid większe od Ask) co wprowadza wątpliwość.. To raczej widna Twojej obróbki niż danych (jakie dane pobrałeś z duksa - tickowe ?)

Może być że się pomyliłem, aczkolwiek Excelem zarabiam na chleb więc raczej to mało prawdopodobne na pewno jednak powtórzę wyliczenia.

- Po drugie czy uwzględniłeś, że dane z Dukasa są w GMT ? Zapewne tak bo miałbyś większe różnice - ale wolę zapytać ...

Oczywiście

- Po trzecie sekunda to rzecz względna. W tym wypadku. Czy zegar Twojego komputera jest dokładnie zsynchronizowany z serwerem Dukascopy ? Nie sądzę... więc często "na granicach" sekund będziesz miał przekłamania. Czas transferu przez sieć (przy logowaniu ticków) zwiększy je dodatkowo.

Nie sprecyzowałem - domyślam się, że "logowanie ticków" to zgrywanie ich live z arkusza ofert do jakiejś bazy danych (czy możecie mi podpowiedzieć jakim softem się to robi? Nigdy o tym nie słyszałem).

Ja natomiast zgrywałem dane historyczne z Dukascopy (link w poprzednim poście), czyli ściągałem dane z parametrami czasowymi już nadanymi przez DS.

Analogicznie masz tu dane aktualnych najlepszych ofert. Jak chcesz volumen to sobie go zloguj. W aliorze masz okno DOM - tam o ile pamięć mnie nie myli widać volumen.
Z tym, że w obu wypadkach (alior i dukas) to nie jest volumen przeprowadzonych transakcji. To volumen najlepszych pozycji w tabeli ofert.

I tu nadal mam wątpliwość - dane z Alior pobierałem metodą Eksport, która wygenerowała mi csv nie z bid/ask (jak DS), tylko ze zwykłym open/min/max/close (jak w danych transakcyjnych np. z GPW). Nie potrafię pobrać danych z arkusza ofert. Dlatego wydawało mi się że porównuje dane ofertowe (DS) z danymi transakcyjnymi (Alior).

Generalnie podobne ceny są jak widać. Ale nie będą identyczne, bo przecież nie identyczni LP działają w Aliorze i Dukasie.
Prosty przykład: powiedzmy, że grasz w Dukasie i składasz ofertę (masz taką możliwość). Akurat mamy duży spread, Twoja oferta jest najlepsza i ląduje na pierwszym miejscu w arkuszu zleceń, od razu znajduje się ktoś na nią chętny.
Czyli w datafeedzie dukasa spread w tej sekundzie będzie niższy, w historii pojawi się info o Twojej ofercie.
Zakładanie, że tak samo zachowa się datafeed Aliora jest błędne: bo niby na jakiej podstawie ?

Ok, a co się dzieje w takiej sytuacji - składam najlepszą ofertę za pośrednictwem DS i ona chwilę wisi - czy pojawia się też w Aliorze? Czy zakładając teoretyczną sytuację, że dwóch brokerów ECN ma tych samych liquidity providers, moja oferta będzie widoczna u obu? Być może błędnie rozumiem rolę LP - dotąd myślałem, że dokonują oni swoistej "centralizacji" rynku - a z tego co piszesz wynika, że moja oferta będzie widoczna tylko w ramach DS. Czyli rynek faktycznie jest zdecentralizowany, i to na poziom poszczególnych brokerów (a ja myślałem, że LP)?

To dane tickowe z Dukasa trzeba w jakiś sposób obrabiać?
Nie wystarczy używać tak jak są?

Nie, chodziło o przejście z ticków na sekundy żeby łatwiej porównywać z Alior, to jedyna obróbka jaką wykonałem