Projekt logowanie ticków

[NiceFox]

Nie zgadzam się co do sql, narzut obliczeniowy zbyt duży.

A jakie czasy potrzebujesz?
może :
http://kx.com/software.php
http://nosql-database.org
http://www.codeproject.com/Articles/553 ... t-Data-Pro

Z SQL łatwo się pracuje, można trzymać części w memory, przyśpiesza prace.

[matka]

Z SQL łatwo się pracuje, można trzymać części w memory, przyśpiesza prace.

No zależy komu Policz sobie ile operacji, łącznie z dostępowymi do dysku, zajmuje zapisanie jednego rekordu w sql. Wszystko można trzymać w memory, nie tylko sql.

[Tilosag]

Wersja "A":
Konto w https://airvpn.org/ (dostęp do kilkudziesięciu serwerów na całym świecie). Klienty MT podpięte przez różne serwery.

Wersja "B":
Jeden aktywista - jeden klient MT.

Logowanie ticków:
Plik tekstowy zawierający kolejne czasy i wartości ticków.
Będzie go bardzo łatwo obrobić po zebraniu wystarczającej ilości danych.
Takie pliki bardzo dobrze się kompresują. Jeżeli zajdzie taka potrzeba to będzie można je tanio przesłać.

Wszystkie komputery muszą mieć regularnie synchronizowany czas.

Synchronizacja danych:
Trzeba je napierw zebrać i zobaczyć czy to w ogóle może wypalić.

[matka]

Trzeba je napierw zebrać i zobaczyć czy to w ogóle może wypalić.

A jeśli ktoś ma już pozbierane i starał się synchronizować czas, to masz jakiś konkretny pomysł? Wyraziłeś te same ogólniki innymi słowami, po co?

[NiceFox]

Kod: Zaznacz cały

Sql_open_db
Sql_insert
Sql_close_db

lub 

Sql_open_db
Sql_statements
Sql_prepare
Sql_bind
Sql_insert
Sql_finalize
Sql_close_db

[matka]

Bardzo ładnie A teraz ile każda z tych operacji zajmuje cykli procesora i jak przebiega odczyt/zapis na dysku, nie koniecznie na niezdefragmentowanej bazie, niekoniecznie na niezdefragmentowanym dysku?

[NiceFox]

zapisanie 1 tiku poniżej 500 ms z otwarciem i zamknięciem pliku db 100 KB z pięcioma tabelami dla hd 7200 o/min,
przy czym ok 500 ms zajmuje otwarcie db i zamknięcie. Dla dysku SSD czasy są niższe. Ale nie ma potrzeby otwierać i zamykać db po każdym tiku. Sam Insert x 1000 zajmuje ca 350 ms.

A jakie czasy potrzebujesz uzyskać?

[matka]

To co piszesz powinno wystarczyć. Ja się droczę bardziej na zasadzie "po co armata na muchy?". Oczywiście jednemu łatwej będzie pracować z bazą, innemu z csv. Ja preferuję tam gdzie mogę oszczędzać na okoliczność ewentualnej przyszłej skalowalności. Np. jak chcesz zapisywać wielu brokerów, każdy po kilkaset instrumentów, to mogą pojawić się opóźnienia, które mogą później utrudnić wspomnianą synchronizację. Albo włączy Ci się jakiś serwisowy proces i na chwilę domuli maszynę czy bazę. Jeszcze pytanie: jak później coś robisz z tymi danymi to też bezpośrednio z sql? Bo przy powiedzmy miliardzie przebiegów, nawet z cachem, może zwalniać.

[NiceFox]

W jakim środowisku programistycznym działasz?

do synchronizacji systemów : http://www.worldtimeserver.com/atomic-clock/

Np. jak chcesz zapisywać wielu brokerów, każdy po kilkaset instrumentów, to mogą pojawić się opóźnienia, które mogą później utrudnić wspomnianą synchronizację.

o czymś takim nawet nie myślałem, z SQLite to jak z motyką na księżyc.

Jeszcze pytanie: jak później coś robisz z tymi danymi to też bezpośrednio z sql? Bo przy powiedzmy miliardzie przebiegów, nawet z cachem, może zwalniać.

To zależy od konkretnego zastosowania, jeżeli baza no real time to zapytania bezpośrednio w SQL z gui SQL-a, real time to wrzucam partiami do memory.

[matka]

Sam nie programuję. Dużo rzeczy mam w mql4 + biblioteki w c#. Właśnie zauważyłem, że jeden z programów których używam (w javie) korzysta z H2 i to jest sql, ale działa porównywalnie szybko do mt4, przy czym to tylko do backtestów. Tym softem robię właśnie ogromne ilości przebiegów i jakoś to idzie, a nie wydaje mi się żeby zapisywał dane w pamięci. Ticki do tej pory zapisywałem skryptem mql'owym do csv. Jeszcze nic nie robiłem z synchronizacją. Myślę że gdyby użyć tego softu z Twojego linka i synchronizować często, można by zastosować jakieś proste metody, jak choćby usuwanie duplikatów skryptami Birt'a (tickdatasuite). Mogę zapytać co konkretnie Ciebie interesuje do logowania?