俺のツイッター
機械学習のためには取引をシミュレート出来なければならない
テイカーで売り買いした時、ポジションを一纏めにするタイプの取引所をシミュレートする 証拠金: a[btc]
まず価格p₁︎[$/btc]でs[$]ロングしたとする
価格p₂︎[$/btc]でs[$]ショートした時利潤は?
↓
s/p₁︎-s/p₂︎[btc] 強化学習のリワードとして利潤を用いたいけど、単位はbtcで良いのだろうか
ドルに換算した方がいいか、或いはパーセンテージにした方がいいか… さらに、証拠金a[btc]の価値がビットコの価格に左右されるのもまずい
常に1倍ショートしとく事にして、その上でトレードをさせた方が良くないか 常に1倍ショートを入れておく事にしよう
取引所上では他のポジを持った時にこのショートと合併されてしまうが、AIの思考の中では分離しておく事にする ロングポジの時にロングするか、ショートポジの時にショートした場合
ポジションが合併される
価格p₁︎、サイズs₁︎のロングと価格p₂︎、サイズs₂︎のロングを合併すると
サイズs₁︎+s₂︎、価格(s₁︎+s₂︎)/(s₁︎/p₁︎+s₂︎/p₂︎)
これはショートでも同じ リワードに関しては、やはりドルで考えるべきかと思う
ビットコは安定的な資産では無いので、、
とりあえずリワードが確定した時の価格でリワードをドルに換算し、1倍ショートの対象に加える つまり
価格p₁︎、サイズsでロングしたあと価格p₂︎で決済すると、(s/p₁︎-s/p₂︎)[btc]のリターンを得るわけだが、これを1倍ショートするので
(p₂︎/p₁︎)s-s[$]分余計にショートしなければならない
(p₁︎,s)のロングを価格p₂︎で決済するにはサイズ(p₂︎/p₁︎)sのショートを入れるという事 これはp₁︎>p₂︎の場合も成り立つ
さらにショートとロングの順が逆でも成り立つ ちなみに強化学習の学習時にはここら辺のことは気にしなくていい 以下、注文を(価格、サイズ)で表す
サイズはロングの場合正、ショートの場合負とする
こうする事で単一の式で色々と書けるはず (p₁︎, s₁︎)→(p₂︎, s₂︎)と注文した時に価格、サイズはどう合併すべきか?リワードは?
(1) s₁︎s₂︎>0のとき
((s₁︎+s₂︎)/(s₁︎/p₁︎+s₂︎/p₂︎), s₁︎+s₂︎)とすべき
リワードはs₂︎にかかる手数料分(bybitだと0.06%)のマイナス
そういえば1倍ショートに手数料も加味しなきゃならんな (2) s₁︎s₂︎<0のとき
① |s₁︎|≧|s₂︎|のとき
(p₁︎, s₁︎+s₂︎)とすべき
リワードはs₂︎-(p₂︎/p₁︎)s₂︎[$]からs₂︎にかかる手数料を引いたもの ② |s₁︎|<|s₂︎|のとき
(p₂︎, s₁︎+s₂︎)とすべき
リワードは(p₂︎/p₁︎)s₁︎-s₁︎[$]からs₂︎にかかる手数料を引いたもの
要は今までのポジと逆の注文をした時に正のリワードが発生しうる >>28
ここは俺のツイッターなので俺はやばくない 注文のサイズは常に自分の資産(証拠金)を100$としたときの割合[$]で表す事にする
つまりはパーセンテージ
リワードを得ても無視し、100$という値は変化しない
実際に取引所で取引する場合はポジが反転するたびに基準を更新する 以上で強化学習の環境に関する議論は終わり
次にニューラルネットワークのパラメータ数を考える
第1層から順に
(4096,2048,2048,1024,512,256,256,128,64,64,7)
でどうだろう?
活性化関数はReLU 家にあるのノートPCだけだしGPUないとこのサイズは無理かな
当分はcolabとか使って凌ぐか? パラメータが過剰かも知れないのでどっかしらにDropoutを入れとくと良いかも
それにNGUとかAgent57をやりたいので内発的報酬用のネットを作らないといけないな だいたい他学部の講義の単位取れるかが履修登録後にしか分からないって何なん ハヤテのごとくとかKiss×sisとかはがないとか脳コメとか
そこら辺のラブコメが何か見返したくなってきた 投資は良い
何かしらで金を得たあとは投資・M&Aで金を増幅させる事が出来るもんな 障害記憶部…RNDを用いてα[t]を出す
エピソード記憶部…埋め込み関数+エピソードメモリ+k近傍法でr_episode[t]を出す
埋め込み関数…siamese networkで学習
以上から内部報酬r_i[t]を計算し、外部報酬と併せて報酬とする 数分おきにゲボ吐きそうな勢いで咳するカスのせいで授業頭に入らんかった
まぁつまんない講義だったのがせめてもの救い イーロン・マスクGPU買い占めってマジか
マイニングの時同様GPUが高騰しそうだなぁ マジでNVIDIA一強なのどうにかした方がいいんでねーか?
日本もGPGPU作り始めたらいいのに
ある程度売れるだろうし
でも新規性なさすぎて大丈夫だろうかとは思っちゃう VIPでアメーバピグの話を見かけた…懐かしい
メタバースの先駆けだったのにね
もう少し上手くやれなかったのか 言うてアメーバピグとアニメの話だけしか古くない
大学4年にもなれば多少はね… 変な時間に目が覚めたので睡眠導入剤として授業資料を読む 世の中ではまさに今ポケカの転売が行われてるのね
働かずにお金得られて良いなあとは思うけど、朝早くから並んだりするのは労働といえば労働だしな
勿論コスパは良いんでしょうけども これもオルタナティブ投資の一種なのかな
転売の利益って要はキャピタルゲインだよね ChatGPTの登場により自然言語処理界隈がお通夜になってるという意見をTwitterで見たがこれは明らかな間違い
いままでNLP界隈で行われてきた事がこれからの世の中を席巻する ちなみにこれはNLP系の研究室に進みたい俺の言い訳 上着着ずにインナーの白のポロシャツで外出してる人になっちゃった 木曜のこの時間4時間ほど暇になるの嫌だなぁと思ってたけど水曜に出るくそザコ課題を片付けるには悪くない なんで毎回毎回電車ギリギリに乗るのか…
走るのマジきつい 最近外部からの刺激でモチベが強制的に上げられている