Wykorzystanie Sztucznych Sieci Neuronowych na FX - zmienne

[JustBetterMe]

Cześć, od dłuższego czasu badam różne modele matematyczne w tym przede wszystkim Sztuczne Sieci Neuronowe (SSN).
Mam do was pytanie, co według was najlepiej wprowadzać do sieci jako zmienne wejściowe a co najlepiej prognozować/klasyfikować?
Jakie strategie znacie z wykorzystaniem SSN?

Co do zmiennych wejściowych to problem wydaje się nieco łatwiejszy, bo zawsze można dać więcej zmiennych... Do tego moim zdaniem najlepiej podawać czystą cenę OHLC + ew. inne zmienne - ale jakie?.
Znacznie większym problem mam z wyborem zmiennej wyjściowej... Co waszym zdaniem najlepiej prognozować/klasyfikować i jak to później wykorzystać?
Naturalnie można dać cenę z okresu t+n, średnią lub różnicę w cenie, ale co jeszcze? Szukam czegoś ciekawego ;-).
Jeśli to możliwe bardzo proszę o jakieś uzasadnienie.

[green7]

Wrzucisz śmieci - dostaniesz śmieci bo sieci neuronowe niestety nie są "magiczną maszynką" które wymyślą jak tu zarobić.

Moim zdaniem najprościej prognozować kierunek zmiany ceny w kolejnym okresie. Z tym, że to bardziej nadaje się do grania opcjami binarnymi niż na fx.
A co wrzucać ? Na początek ceny ohlc z paru okresów wcześniejszych, porę dnia, dzień tygodnia, popularne oscylatory i wartości średnich (dlatego że dużo ludzi ich używa i w związku z tym mogą mieć jakąś wartość prognostyczną).
Dodawaj po kolei i sprawdzaj czy wynik prognozy sieci się poprawia to się przekonasz co "robi".

[JustBetterMe]

Wrzucisz śmieci - dostaniesz śmieci bo sieci neuronowe niestety nie są "magiczną maszynką" które wymyślą jak tu zarobić.

Tyle to wiem - dlatego prosiłem o jakieś uzasadnienie

Moim zdaniem najprościej prognozować kierunek zmiany ceny w kolejnym okresie.

Też tak uważałem. Niestety po wielu próbach prognoza kierunku (różnicy ceny w okresie t+n z ceną w okresie t; ewentualnie logarytmiczne stopy zwrotu) jest bardzo trudna i mało efektywna - dlatego szukam alternatywnych rozwiązań - w tym przede wszystkim sposobu wykorzystania SSN jako narzędzie pomocnicze a nie typowo prognozujące.

A co wrzucać ? Na początek ceny ohlc z paru okresów wcześniejszych, porę dnia, dzień tygodnia, popularne oscylatory i wartości średnich (dlatego że dużo ludzi ich używa i w związku z tym mogą mieć jakąś wartość prognostyczną).

To takie typowe zmienne ;-) - szukam czegoś bardziej oryginalnego ;D

No nic, widzę, że temat w sumie nikogo nie zainteresował...
pozdrawiam

[forexsowicz91]

nikogo nie zainteresował bo 90% ludzi nawet nie słyszało o sieciach neuronowych a 99% nie wie o co w tym chodzi...

[Tymek]

Znam firmy, które stosują sieci neuronowe do gry, ale bardziej jako prognoza kolejnych ruchów.
Nie ma sensu wrzucać świeczek do sieci bo tylko zagmatwasz dane wejściowe.
Dane wejściowe trzeba przygotować i znormalizować inaczej będzie dupa.
Jak za dużo wrzucisz na wejście to będziesz musiał ustawić dużo neuronów w warstwach ukrytych.
Do tego jak użyjesz więcej niż 2 warstwy ukryte długo będziesz czekał na stabilizację sieci.
Jak nie uogólnisz wyjścia i będziesz chciał zbyt dokładne wartości to też możesz czekać wieczność
na stabilizację. Jest sztuką dobrać ilość warstw i ilość neuronów w każdej warstwie.
Jak nie użyjesz kart graficznych do przetwarzania to procesor będzie liczył naprawdę długo.
Obecnie tylko w ten sposób opłaca się optymalizować duże sieci neuronowe.
np. NVidia i CUDA nadaje się do tego znakomicie tylko trzeba to zrobić mądrze
Kiedyś na stronie NVidii był przykład programu na sieci wykorzystujący do obliczeń karty z CUDA.
Generalnie jak nie zajmujesz się na co dzień techniką sieci neuronowych to nie otrzymasz poprawnych
rezultatów. Generalnie naprawdę trzeba się na tym znać a nie tylko wziąć AutoCad czy MathLab i starać
się zwojować rynek

[WojtexWay]

Nie ma sensu wrzucać świeczek do sieci bo tylko zagmatwasz dane wejściowe.

No bez jaj, a co niby lepiej wrzucać jak nie cenę? Cena z poprzednich okresów to najbardziej oczywistą zmienną jaka powinna się znaleźć przy prognozie ceny lub kierunku jej zmiany!

Dane wejściowe trzeba przygotować i znormalizować inaczej będzie dupa.

I tu nie masz racji - nie trzeba! Chociaż tak się robi bo tak jest prościej i wygodniej, przynajmniej, gdy masz wiele różnych zmiennych. Normalizacja to tylko liniowe przekształcenie zmiennej w taki sposób, by każda zmienna miała podobny zakres. Dzięki temu można losować wagi z tego samego przedziału dla każdej zmiennej.
Sama normalizacja/standaryzacja nie ma wpływu na działanie sieci ani na jej uczenie. Równie dobrze można losować małe wagi dla zmiennych, których wartości są stosunkowo duże i odpowiednio duże wagi, gdy wartości zmiennych są odpowiednio mniejsze.
Jeśli wrzucasz do sieci zmienne tego samego typu np. tylko cenę z poprzednich okresów (np. z t-1, t-2, t-3...) to normalizacja/standaryzacja jest zbędna.

Przy losowaniu wstępnych wag należy uwzględnić kilka czynników jak chociażby: wielkość zmiennych wejściowych do warstwy (neuronu), ilość zmiennych, które wrzucasz do danej warstwy (neuronu) oraz rodzaj funkcji aktywacji (neuronu). W przypadku stosowaniu normalizacji/standaryzacji odpada martwienie się o wielkość ceny (zmiennej).

Przykładowo dla EUR/USD cena jest w granicach ~1,39 a dla AUD/JPY w granicach ~93,00 więc bez normalizacji/standaryzacji wstępne wagi dla EUR/USD powinny być losowane z zakresu o 93/1,39 mniejszego niż dla AUD/JPY.

Oczywiście problem się komplikuje, gdy bierzesz pod uwagę wiele różnych zmiennych, ale chodziło mi tylko o podkreślenie, że można się obejść bez normalizacji/standaryzacji.
Poza tym kwestia normalizacji/standaryzacji powinna być raczej oczywista dla kogoś, kto interesuje się sieciami neuronowymi. Pytania dot. zupełnie czegoś innego.

Jak za dużo wrzucisz na wejście to będziesz musiał ustawić dużo neuronów w warstwach ukrytych.

To nie jest do końca prawda - ilość neuronów w warstwie ukrytej ustala się zazwyczaj eksperymentalnie i nie musi mieć to związku z ilością zmiennych wejściowych. Poza tym jest to proces zautomatyzowany więc nie widzę żadnego problemu między 3 a 300 neuronami ukrytymi (oczywiście wydłuży się czas uczenia).

Do tego jak użyjesz więcej niż 2 warstwy ukryte długo będziesz czekał na stabilizację sieci.

Nikt nie pisał, że zamierza używać większej ilości warstw. Osoby interesujące się tematem powinny wiedzieć, że zaleca się stosowanie 1 góra 2 warstw - większa ilość warstw dot. specyficznych zadań jak np. kompresja (sieci autoasocjacyjne). Poza tym sieci wielowarstwowe (powyżej 1 warstwy ukrytej) zaleca się tworzyć i uczyć warstwowo tj. najpierw stworzyć sieć z 1 warstwą ukrytą i ją nauczyć a następnie dodać kolejną warstwę itd.

Jak nie uogólnisz wyjścia i będziesz chciał zbyt dokładne wartości to też możesz czekać wieczność na stabilizację.

Co to znaczy "uogólnić wyjście"? I na jaką stabilizację? Piszesz dużo niepotrzebnych rzeczy, a jak już coś może być wartościowe to nic nie wyjaśniasz ;-(.

Jak nie użyjesz kart graficznych do przetwarzania to procesor będzie liczył naprawdę długo.
Obecnie tylko w ten sposób opłaca się optymalizować duże sieci neuronowe.

No bez przesady... Co to za argument?! Nie kwestionuję tego, że wykorzystanie karty graficznej może znacząco przyśpieszyć proces uczenia, ale nauczenie nawet średniej wielkości sieci nie jest większym problemem przy wykorzystaniu 1 rdzenia a co dopiero 4 rdzeni CPU. Poza tym nauka jest procesem jednorazowym i nie ma większego znaczenia, czy nauczę sieć w 1 minutę czy w 1 godzinę - ewentualne douczanie to kwestia chwili...
Dzisiejsze komputery do zastosowań domowych są bardziej wydajne niż super komputery z przed 10 lat a mimo wszystko dawniej ludzie sobie jakoś radzili...

np. NVidia i CUDA nadaje się do tego znakomicie tylko trzeba to zrobić mądrze

No i znowu ogólnikowo... Co to znaczy "mądrze"?

Generalnie jak nie zajmujesz się na co dzień techniką sieci neuronowych to nie otrzymasz poprawnych
rezultatów. Generalnie naprawdę trzeba się na tym znać a nie tylko wziąć AutoCad czy MathLab i starać
się zwojować rynek

Ja nie zajmuję się na co dzień sieciami neuronowymi, ale się nimi interesuję i nie uważam, żeby to był temat jakoś specjalnie skomplikowany i nie do ogarnięcia przez większość osób. To czysta matematyka.
Poza tym wiesz ilu jest hobbystów, którzy mają większą wiedzę od tzw. specjalistów (nawet z doktoratem)?

[Tymek]

WojtexWay i właśnie dlatego ludzie maja problemy bo uważają, że wiedzą lepiej niż jest w książkach.
Co do świeczek to nie trzeba wrzucać ich całej struktury, sieć uogólni je i tak więc średnia jest wystarczająca.
Zniknęło słowo "całe" ale widzę, że to był dla ciebie młyn na wodę.
Co do normalizacji danych wejściowych i wyjściowych to nie chce mi się tego tobie udowadniać bo widać że
i tak wiesz lepiej.
Z 300 neuronami to możesz sobie liczyć cenę chleba na przestrzeni 10 lat bo zmieniała się kilkanaście razy.
Nie widziałem tak małej sieci w zastosowaniach związanych z giełdą ale cóż wiesz lepiej
Co do warstw jak sam zauważyłeś 2 lub 3 są do zastosowań specyficznych a giełda jest właśnie
czymś specyficznym. Ale co ci będę tłumaczył i tak wiesz lepiej
A o wyjściu: uogólnić - myślałem normalizacja i tyle.
Co do tych twoich 4 rdzeni to życzę powodzenia
Co do CUDY nie będę się rozwodził na temat tego, że większość programistów nie umie dobrze zaprogramować
urządzeń tego typu i po testach stwierdzają że "4" cory są szybsze niż karta graficzna Co przy źle napisanym
sofcie jest prawdą. Niestety większość testuje i bawi się na danych które wrzuca i ściąga z karty, przy małych
setach (bo przecież to tylko testy) dużo czasu zajmuje transfer w stosunku do samych obliczeń i dlatego wychodzi
że 4 cory działają szybciej. Sztuką jest trzymać dane w pamięci karty i na nich operować shaderami. Ale pewnie też
lepiej wiesz
Skoro uważasz, że temat sieci nie jest skomplikowany to albo jesteś geniuszem albo twoja wiedza jest nikła.
Zakładam, że raczej to drugie. Będąc geniuszem takiego wywodu byś nie strzelił.
A co do hobbystów i tego zdania na końcu to mnie rozbawiłeś. Widać że albo jesteś przed maturą albo ktoś cię
udupił jako hobbyste na studiach. Tak wiem ilu jest takich hobbystów - kilku, a ty jesteś tym jednym któremu
się wydaje że wie więcej od wszystkich naraz bo przecież to takie trywialne, powinni zlikwidować ludziom doktoraty
oparte na sieciach bo to przecież takie proste
Ot wziąć 300 neuronów, 1 warstwę, wrzucić dowolne dane i poczekać 1h na wynik (przecież sieć sama wszystko
za ciebie zrobi. ) i to wszystko na 4 corach.
Tak to jest jak uruchamia się przykłady z internetu z kilkoma neuronami do rozwiązania problemu XOR

Sieć neuronowa zaledwie z 8 wejściami i 2 warstwami ukrytymi z 2 wyjściami z set neuronami, używana do
zastosowań medycznych by określić prawdopodobieństwo cukrzycy zajęło kilka tygodni by osiągnąć skuteczność
bliską 95%, oczywiście mówimy o dużej bazie danych wejściowych - można porównać do danych minutowych
z kilku lat na FX. Było to w 2005 roku i faktycznie było liczone na 4 corach
Samo dobranie odpowiednich ilości neuronów zajęło też sporo czasu. Ale to przecież takie proste.

[WojtexWay]

Co do świeczek to nie trzeba wrzucać ich całej struktury, sieć uogólni je i tak więc średnia jest wystarczająca.
Zniknęło słowo "całe" ale widzę, że to był dla ciebie młyn na wodę.

A ja nigdzie nie powiedziałem, że trzeba wrzucać całe świeczki...

Co do normalizacji danych wejściowych i wyjściowych to nie chce mi się tego tobie udowadniać bo widać że
i tak wiesz lepiej.

No dobra, małe sprostowanie: gdy zmienne wejściowe są zróżnicowane to normalizacja może mieć wpływ w procesie uczenia. Jednak gdy zmienne wejściowe są tego samego typu to normalizacja jest bez znaczenia, bo to jest tylko przekształcenie liniowe!
Chodziło jednak o podkreślenie, że nie zawsze normalizacja jest konieczna.

Z 300 neuronami to możesz sobie liczyć cenę chleba na przestrzeni 10 lat bo zmieniała się kilkanaście razy.
Nie widziałem tak małej sieci w zastosowaniach związanych z giełdą ale cóż wiesz lepiej

To był tylko przykład. Ale pochwal się jakie sieci widziałeś - ile miały wejść, warstw i neuronów ukrytych a następnie przemnóż sobie te wartości przez siebie (policz liczbę wag) i porównaj do ilości słupków z tych owych 10 lat... Szczególnie dla większych interwałów jak 1H...

Co do warstw jak sam zauważyłeś 2 lub 3 są do zastosowań specyficznych a giełda jest właśnie
czymś specyficznym. Ale co ci będę tłumaczył i tak wiesz lepiej

Tak, i podałem przykład, by nie było wątpliwości o jakie specyficzności chodzi. Giełda jako taka nie jest w żaden sposób specyficzna.

Co do tych twoich 4 rdzeni to życzę powodzenia

Dzięki, mi starczają - nie narzekam...

Skoro uważasz, że temat sieci nie jest skomplikowany to albo jesteś geniuszem albo twoja wiedza jest nikła.
Zakładam, że raczej to drugie. Będąc geniuszem takiego wywodu byś nie strzelił.

Nie uważam, że nie są skomplikowane. Uważam, że są do ogarnięcia. A to lekka lecz znacząca różnica! I wnioskuję to właśnie po tym, że nie uważam siebie za geniusza, a mimo wszystko sporo wiem na ich temat!

Co do reszty to może przeczytaj jeszcze raz to co napisałem, tylko tym razem ze zrozumieniem...

Sieć neuronowa zaledwie z 8 wejściami i 2 warstwami ukrytymi z 2 wyjściami z set neuronami, używana do
zastosowań medycznych by określić prawdopodobieństwo cukrzycy zajęło kilka tygodni by osiągnąć skuteczność
bliską 95%, oczywiście mówimy o dużej bazie danych wejściowych - można porównać do danych minutowych
z kilku lat na FX

I chcesz powiedzieć, że nauka sieci trwała kilka tygodni? Czy co? Bo z Twojego postu nie wynika, że chodziło o dobór struktury sieci etc. który ma się nijak do technologii CUDA...
A tak w ogóle to skąd wziąłeś info o ilości neuronów? tzn. że było w tej sieci "set" neuronów? Poza tym sam mówiłeś, że sieć z 300 neuronami nie nadaje się do prognozy pieczywa... Gdzie tu logika? O_o

[Tymek]

Chyba masz problemy z czytaniem ze zrozumieniem. Odniosę się do ostatniego zdania z chlebem.
Przecież właśnie napisałem że sieć z 300 neuronami nadaje się do tego znakomicie
Po drugie zgadzam się z tobą w 100%, twoje podejście jest rewolucyjne i jesteś hobbystą
lepszym od profesorów na uczelni. Trzeba szybko powiadomić uczelnie, że marnują czas
i ich dziesięciolecia spędzone nad tematyką normalizowaniem danych wejściowych i ich
doktoraty są o kant dupy bo jest nowa teoria, która mówi że jest to zbędne i wystarczy
powiększyć lub pomniejszyć odpowiednie wagi
Nie wiem czy się orientujesz na czym polega uczenie sieci ale podpowiem ci że na
modyfikacji wag we wszystkich neuronach więc twoja zmiana jest chwilowa i może
spowodować że neuron będzie starał się ignorować to wejście bo będzie odbiegało
wartością od pozostałych ale jak już mówiłem wiesz lepiej
Dyskusja jak z dzieckiem, które właśnie odkrywa matematykę i wie lepiej niż jest
napisane w książce a nauczyciele są głąbami a on najlepszy

-- Dodano: ndz 16-03-2014, 22:27 --

A tak w ogóle to skąd wziąłeś info o ilości neuronów? tzn. że było w tej sieci "set" neuronów?

Byłem autorem oprogramowania.

[WojtexWay]

Chyba masz problemy z czytaniem ze zrozumieniem. Odniosę się do ostatniego zdania z chlebem.
Przecież właśnie napisałem że sieć z 300 neuronami nadaje się do tego znakomicie

Tak, mam problemy z odkodowaniem twojego bełkotu, w którym logiki na próżno szukać... Najpierw piszesz, że sieć z 300 neuronami do niczego się nie nadaje a później podajesz przykład skutecznej sieci do prognozowania cukrzycy, która ma "tylko" 8 wejść, dwie warstwy i "set" neuronów (cokolwiek to znaczy - czyli równie dobrze może to być 200)... Z drugiej strony to i tak jest ciekawe, jeśli jest tylko 8 wejść...

Po drugie zgadzam się z tobą w 100%, twoje podejście jest rewolucyjne i jesteś hobbystą
lepszym od profesorów na uczelni. (...)

I kto tu czyta ze zrozumieniem...
Wyraźnie napisałem, że stosowanie normalizacji jest praktyczniejsze a tylko wskazałem na możliwość jej pominięcia w niektórych przypadkach. Widocznie jesteś zbyt tępy, by to pojąć.
Poza tym poprawiłem się w ostatnim poście i uściśliłem, że pominięcie normalizacji jest możliwe dla zmiennych, których wartości nie są zbyt zróżnicowane (np. gdy są tego samego typu, np. gdy zmienne wejściowe to tylko cena z poprzednich k okresów).

Widać, że sam nawet nie próbujesz tego zrozumieć i wszystko co jest w książce przyjmujesz za pewnik i za coś niezbędnego...
Szkoda również, ze zamiast próbować jakoś argumentować swoje wypowiedzi i udowadniać błędne rozumowanie starasz się tylko mnie obrazić.

Nie wiem czy się orientujesz na czym polega uczenie sieci ale podpowiem ci że na
modyfikacji wag we wszystkich neuronach więc twoja zmiana jest chwilowa i może
spowodować że neuron będzie starał się ignorować to wejście bo będzie odbiegało
wartością od pozostałych ale jak już mówiłem wiesz lepiej

Że co? Doskonale wiem na czym polega "nauka" ale pojęcia nie mam o czym ty piszesz... Jaka zmiana? jaka chwilowa? Chodzi ci o dobór losowy wag? No i co z tego, że on jest jednorazowy? Przecież później i tak "uczysz" wagi tj. np. odejmujesz od nich część pochodnej, która będzie odpowiednio mniejsza/większa dla zmiennych znormalizowanych.
Czy potrafisz samodzielnie obliczyć pochodną po wadze czy tylko trzymasz się książkowych wzorków i pojęcia nie masz co one oznaczają? A może w ogóle ich nie rozumiesz i tylko korzystasz z cudzych bibliotek w ogóle nie wnikając co tam się w środku dzieje?...

Czy do ciebie dociera czym jest liniowe przekształcenie? Czy rozumiesz, że w matematyce 10*2 zwróci ten sam wynik co 100*0,2 lub 1*20?!?
Równie dobrze możesz twierdzić, że normalizacja jest lepsza od standaryzacji - tylko na jakiej podstawie O_o. A właśnie, może wyjaśnisz mi dlaczego normalizujesz zmienne do przedziału (0,1) lub (-1,1) a nie np. do (-100,100) - czy taka normalizacja wg. ciebie jest już nieprawidłowa? a jeśli tak to niby dlaczego?!? Podaj jakiś sensowny argument do jakich wartości powinno się normalizować zmienne - bo mam nadzieję, że nie jesteś aż tak głupi by twierdzić, że można normalizować tylko do zakresu (0,1) lub (-1,1) a do zakresów większych lub mniejszych już nie można...

Podkreślam jednak, że moje stwierdzenie dotyczyło sytuacji, gdy zmienne przyjmują podobny zakres - tj. bez sytuacji, gdzie jedna zmienna jest z zakresu (10,20) a druga (100, 200).

No nic, widzę, że twoje argumenty i tak polegają tylko na wyśmiewaniu się z innych więc ja na tym kończę.
A jak jesteś taki mądry to ja ciągle czekam na informację jakiej wielkości sieć wg ciebie jest odpowiednia dla zastosowań na FX tj. ile wejść, ile warstw i ile neuronów. Chodzi mi oczywiście o jakąś przykładową wielkość - np. minimalną - bo zaraz mi wyskoczysz z tekstem, że to się ustala eksperymentalnie i nie możesz tego określić bez dokładnej wiedzy co i jak etc. W końcu potrafiłeś stwierdzić, że 300 neuronów do niczego się nie nadaje więc ja czekam na informację ile neuronów nadaje się do czegokolwiek...

EoT