Kilka uwag o modelowaniu

O jezykach programowania w platformach i nie tylko.
Awatar użytkownika
batman
Gaduła
Gaduła
Posty: 159
Rejestracja: 19 kwie 2011, 07:55

Kilka uwag o modelowaniu

Nieprzeczytany post autor: batman »

Pomyslalem, sobie, ze napisze tu kilka ogolnych "prawd" dotyczacych modelowania "rzeczywistosci" ;).
Dla czesci uzytkownikow to napewno oczywistosci, ale chyba nie dla wszystkich i mam nadzieje, ze dzieki temu moze ktos kiedys zaoszczedzi troche czasu.

Kazdy system (np ujety w EA) de facto zaklada pewien model zachowania sie notowan (np, ze po dolku bedzie gorka, albo po jakiejs tam formacji dolek itp itd) - jest to jakby model naszego "swiata".
Powiedzmy, ze mamy wstepny system (model) - teraz chcemy sprawdzic, czy i dla jakich parametrow nasz system w ogole dziala, oraz znalezc parametry, przy ktorych bedzie dziac najlepiej.
W tym celu dane historyczne dobrze jest podzielic przynajmniej na dwa kawalki. Na jednym (tzw. dane treningowe) optymalizujemy - testujemy zachowanie systemu przy roznych wartosciach parametrow i znajdujemy te najlepsze. Potem na drugim kawalku (tzw. dane testowe) sprawdzamy, czy system, przy tych najlepszych parametrach, zachowuje sie podobnie jak na danych treningowych. Jak niepodobnie, to trzeba wymyslac nowy system ;)

Model zoptymalizowany na jednym zestawie danych, a zle sprawdzajacy sie na innych, czesto nazywa sie przeuczonym. Szukanie optymalnych parametrow, to jakby uczenie - jak system nauczyl sie dobrze dzialac na fragmecie rzeczywistosci, a nie umie na innym, to znaczy, ze na tym jednym sie przeuczyl ;)
Niestety przeuczyc system jest bardzo latwo - stad koniecznosc testowania systemu na fragmencie danych, na ktorych nie byl uczony (optymalizowany).
Rzecza doskonale ulatwiajaca przeuczenie systemu jest duza liczba parametrow (podobno, apropos fitowania funkcji do danych fizyk, Enrico Fermi, powiedzial : "Majac cztery parametry dofituje slonia, majac piec, sprawie, ze bedzie ruszal traba"). Majac duza liczbe parametrow, na ogol znajdziemy taki zestaw ich wartosci, ze na danych historycznych system ladnie zadziala - tyle, ze najpewniej bedzie przeuczony. Dlatego - moim zdaniem - im mniej parametrow, tym lepiej ;) . Poza tym dobrze jest rozumiec za co konkretne parametry odpowiadaja i trzymac je w takich ryzach, dla ktorych wartosci wydaja nam sie sensowne.

Dobry model/system, to tez taki, ktory zachowuje sie w miare stabilnie przy drobnych zmianach wartosci parametrow. Innymi slowy: jesli zmiena wartosc parametru o 1% zmieni dzialanie naszego systemu o 50%, to powinnismy sie spodziewac, ze bardzo niewielka zmiana rzeczywistosci takze sprawi, ze nasz system sie wykrzaczy.

Mam nadzieje, ze to co napisalem jest w miare zrozumiale. Konkretnych uwag na temat forexu nie mam, bo dopiero zaczynam te przygode, ale mam nadzieje, ze bardziej doswiadczeni forumowicze dodadza jeszcze cos od siebie.

Awatar użytkownika
reptile
Maniak
Maniak
Posty: 2799
Rejestracja: 13 gru 2008, 13:48

Nieprzeczytany post autor: reptile »

Ja mysle, że "techniczne" EA wg tej teorii powinno również zarabiać na "losowych" danych :D
Tyle o rzeczywistości teoretyczne.. bo ta fundamentalna ma swój "cieżar" (wg mnie) :roll:
R.E.P.T.I.L.E. - Robotic Electronic Person Trained for Infiltration and Logical Exploration (off-line,only e-mail)

Awatar użytkownika
batman
Gaduła
Gaduła
Posty: 159
Rejestracja: 19 kwie 2011, 07:55

Nieprzeczytany post autor: batman »

reptile pisze:Ja mysle, że "techniczne" EA wg tej teorii powinno również zarabiać na "losowych" danych Very Happy
Jesli dane losowane bylyby zgodnie z jakimis w miare stalymi rozkladami prawdopodobienstwa to wg mojej wiedzy i intuicij powinno byc to mozliwe.

Awatar użytkownika
thisredone
Stały bywalec
Stały bywalec
Posty: 72
Rejestracja: 05 sie 2010, 17:07

Nieprzeczytany post autor: thisredone »

batman pisze:
reptile pisze:Ja mysle, że "techniczne" EA wg tej teorii powinno również zarabiać na "losowych" danych Very Happy
Jesli dane losowane bylyby zgodnie z jakimis w miare stalymi rozkladami prawdopodobienstwa to wg mojej wiedzy i intuicij powinno byc to mozliwe.
losowość przeczy możliwości przewidzenia więc jak miałoby to być możliwe?

LowcaG
Pasjonat
Pasjonat
Posty: 1068
Rejestracja: 05 paź 2007, 15:39

Nieprzeczytany post autor: LowcaG »

thisredone pisze:losowość przeczy możliwości przewidzenia więc jak miałoby to być możliwe?
Bylo juz o tym pare razy, kto mowi o przewidzeniu?, no i zalezy od tego co jest losowe. Byly pokazane przyklady (nawet to chyba ja robilem ;) , glownie na testerze, troche na demie), ze da sie wyjsc do przodu grajac losowym kierunkiem (ustawienia TP i SL to podstawowy element strategii, zadne martynaly itp., w ogole brak bylo MM, byl poprostu staly lot ). Ale szkoda zasmiecac ten watek rozmowami o tym.
Bylbym za tym, zeby nie odchodzic od glownego watku, czyli modelowania rzeczywistosci. Dosyc ladnie sie zaczelo, moze sie rozwinie w jeden z tych watkow ktore dobrze sie czyta i cos wnosza do tradingu.
Ostatnio zmieniony 20 cze 2011, 14:38 przez LowcaG, łącznie zmieniany 1 raz.

Awatar użytkownika
reptile
Maniak
Maniak
Posty: 2799
Rejestracja: 13 gru 2008, 13:48

Nieprzeczytany post autor: reptile »

thisredone pisze:losowość przeczy możliwości przewidzenia więc jak miałoby to być możliwe?
Bo rzecz polega na zmieszczeniu sie w statystyce z odpowiednim ryzykiem.
To tak w uproszczeniu..
Bo jesli potrzebujesz 100% pewnosci a jej nie masz to dla Ciebie rynek jest w sumie losowy.. nie iwesz czy PLNa sprzedano z ustawy, z rozkazu kiedy i dlaczego i kto i ile razy.. a biorąc pod uwagę mega korelacje nie jest łatwo powiedzieć, że "to co się stało teraz nie było dla mnie losowe".
R.E.P.T.I.L.E. - Robotic Electronic Person Trained for Infiltration and Logical Exploration (off-line,only e-mail)

Awatar użytkownika
matka
Pasjonat
Pasjonat
Posty: 642
Rejestracja: 17 lis 2008, 15:53

Nieprzeczytany post autor: matka »

batman pisze:Pomyslalem, sobie, ze napisze tu kilka ogolnych "prawd" dotyczacych modelowania "rzeczywistosci"
Mam wrażenie, że czytałeś Roberta Pardo ;) Jeśli tak, to bardzo ładnie streściłeś jego przekaz. Jeśli nie to gratuluję inwencji.
thisredone pisze:losowość przeczy możliwości przewidzenia więc jak miałoby to być możliwe
Wszystko można przewidywać, prognozować czy modelować (chodzi przecież o to samo). Skuteczność krótkoterminowej prognozy pogody pozwala się odpowiednio ubrać i to wystarcza.
LowcaG pisze:Byly pokazane przyklady (nawet to chyba ja robilem
Van Tharp ale byłeś blisko ;)
Obrazek
Unfortunately, more to come

LowcaG
Pasjonat
Pasjonat
Posty: 1068
Rejestracja: 05 paź 2007, 15:39

Nieprzeczytany post autor: LowcaG »

matka pisze:Van Tharp ale byłeś blisko
to byla dla mnie inspiracja(wiec, ok, on byl pierwszy :P), ale nie zgadzam sie z nim tej kwesti. Gosc wali scieme, z tymi losowymi wejsciami, niby to pokazujac jak wazny jest MM, a to ma byc niby dowod. A moim zdaniem nie jest(nie zeby MM nie byl wazny, ale to tego nie dowodzi). Nie bede juz tego tu tlumaczyl, bo chyba o tym juz pisalem ;)
(I tak, wiem ze mam racje i jak bede chcial to moge to udowodnic, jak by ktos sugerowal, ze Van Tharp to jakis autorytet, jak smiem i w ogole :P ) (A moze mi sie cos pomylilo i przez to nie udowadnial ze to MM jest wazny, dawno temu czytalem)

Awatar użytkownika
batman
Gaduła
Gaduła
Posty: 159
Rejestracja: 19 kwie 2011, 07:55

Nieprzeczytany post autor: batman »

losowość przeczy możliwości przewidzenia więc jak miałoby to być możliwe?
Ale znajac statystyczne wlasciwosci mozemy okreslic rozne parametry - jak np czestotliwosc wystepowania trendow, ich srednia dlugosc itp itd. I np wiedzac, ze juz jestesmy w trendzie mozemy "przewidziec", ze prawdopodobnie jeszcze troche potrwa. Losowosc oznacza, ze nie wiemy co bedzie, ale mozemy znac prawdopodobienstwa tego co bedzie - a na tym juz mozna zarabiac (a czasem tracic ;p ).
Mam wrażenie, że czytałeś Roberta Pardo Wink
Nie czytalem - na studiach mnie kiedys tego uczyli (moze oni czytali ;) ). Ale ciesze sie, ze sie podoba :)

Awatar użytkownika
matka
Pasjonat
Pasjonat
Posty: 642
Rejestracja: 17 lis 2008, 15:53

Nieprzeczytany post autor: matka »

W tym celu dane historyczne dobrze jest podzielic przynajmniej na dwa kawalki.
Napisałbyś jakie znasz inne sposoby podziału? Szczególnie interesują mnie jakieś niekonwencjonalne.
batman pisze:Majac duza liczbe parametrow, na ogol znajdziemy taki zestaw ich wartosci, ze na danych historycznych system ladnie zadziala - tyle, ze najpewniej bedzie przeuczony. Dlatego - moim zdaniem - im mniej parametrow, tym lepiej
Można zastosować liczbę stopni swobody http://en.wikipedia.org/wiki/Degrees_of ... tistics%29
batman pisze:Dobry model/system, to tez taki, ktory zachowuje sie w miare stabilnie przy drobnych zmianach wartosci parametrow. Innymi slowy: jesli zmiena wartosc parametru o 1% zmieni dzialanie naszego systemu o 50%, to powinnismy sie spodziewac, ze bardzo niewielka zmiana rzeczywistosci takze sprawi, ze nasz system sie wykrzaczy.
To co opisujesz można by też określić jako wyjątek czy przypadek. Mam na myśli sytuację gdzie optymalizacja przebiega z małym krokiem a dobre wyniki występują rzadko i w dużym "oddaleniu". Choć moim zdaniem nie należy rezygnować z badania takich anomalii.
Obrazek
Unfortunately, more to come

ODPOWIEDZ