ビットコインを深層強化学習でやる方法ｗｗｗｗ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:10:54.824

考えようぜ？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:23:48.121

意味がよくわからん

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:24:36.449

どこまでの知識はあるの？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:29:09.551

>>12
アビトラは試したけど儲かるどころか損した
ping早くないとちょっとの遅れで損する

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:29:42.412

>>13
勉強しろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:30:22.557

>>14
とりあえず機械学習の本読んでpytorchを書いてみてるレベル
プログラミングは昔からやってる

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:32:52.073

俺がちょっと調べたところによると、状態は時間ごとに区切るよりも価格の変動で区切る方が良いらしい
つまり1分ごとに価格を入力するよりかは価格が決まった幅以上動いたら入力するという感じ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:36:44.698

どういう環境にしたらいいかな

(価格、前回のイベントからの時間、前回からの出来高)

こんな感じか？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:37:47.266

せっかくニューラルネットワーク使うのにパラメータ3つってしょぼ過ぎるよな
もっと増やすか

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:39:22.600

なんで強化学習？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:40:46.376

>>21
強化学習以外にやりようがないからね

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:41:21.616

はあ？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:41:51.748

とりあえずhohetoさんとUKIさんろAlpacaジャパンのtomoさんをフォローしとけよ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:44:09.600

市場の「勢い」とか「雰囲気」的なものを感じ取れるといいな
入力のパラメータとして直近1秒、1分、3分、5分…の平均出来高や平均価格上昇を入れるのはどうだろう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:44:51.031

>>23
深層強化学習最強の現代でそれ以外の方法をお知りのようなら教えて頂きたいよ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:44:59.517

勢いや雰囲気なら移動平均線見れば分かるだろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:45:11.812

モメンタムって難しいって聞くけどどうなんだろうね

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:45:19.808

>>24
コピートレードにはあまり興味はないんだ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:46:00.363

>>27
AIはグラフ見たって分からん

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:46:33.874

あまりテクニカル指標は用いるつもりはないな

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:47:09.379

>>29
こういうふうにデータ公開してくれるから考えるのに役立つかなと思ったんだがな
https://note.com/hht/n/nc0caf98477db

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:49:12.020

>>32
あー、こういうのは有用かもしれんね
けどこれ含めAIに自力で学習してもらおう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:49:16.210

アルパカの人は機械学習とか投資ロジックのいろはを無料で公開したり
無料のディスコードで勉強会やったりしてるからそっちのほうが回答あるかなと思ってね

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:50:28.502

機械学習についても話してるのか、それは太っ腹だな

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 16:50:40.580

末尾0なった

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:00:01.152

とりま環境決めよう

(1)現在の価格[$]
浮動小数点数1つで表す

(2)直近の価格の変動率
沢山の浮動小数点数で表す
以下の期間の平均を入れる
1s,5s,10s,30s,1m,3m,5m,10m,20m,40m,1h,1.5h,3h,
5h,12h,1d,2d,4d,1w,2w,3w,1month,2month

(3)直近の出来高の平均
沢山の浮動小数点数で表す
上の期間だけ入れる

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:02:41.597

RNNを使えばこんなに変動率は要らないかもな
つーか価格を入力するより前回のイベントからの変動幅を入れるべきだな…
あと自分のポジも入れるべきだろうか

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:04:29.156

イベントをトリガーする幅は何ドルがいいかな
20ドルくらいか？

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:05:38.234

ポジもとりあえず突っ込むか
で、不要なパラメータは埋め込み関数で無視してもらおう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:07:01.106

状態はひとまずおいておく
次は報酬を決めよう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:08:36.850

報酬は利確時の利益でいいと思うなぁ個人的には
報酬は疎になるけど、agent57を採用すれば内発的報酬も加わるので学習が進まない事は回避出来そう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:09:10.724

はい次
次はエージェントの行動を決めよう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:11:24.282

エージェントの行動

(1)ホールド
何もしない
(2)資産のn%でロング
n=10,20,…,90,100
(3)資産のn%でショート
n=10,20,…,90,100

レバは掛けないっつー事でいいかね
どうしよ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:13:10.622

レバ掛けてもいいけど強制ロスカありにするか？
強制ロスカ食らったら報酬を負のデカい値にすりゃ何とかなるかな…むずい

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:19:05.095

いややっぱレバは2倍までとかにするか
上限決めないとロング連発して賭けに出るとかやりそうだし

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:21:04.510

つーか行動が多いと学習が進まなくなる可能性ありそう
行動はもっと減らそう
n=10,30,50
これでいい

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:30:08.377

環境の状態を再考

(1)前回のイベントからの変動幅[$]
浮動小数点数1つで表す

(2)直近の価格の変動率
沢山の浮動小数点数で表す
以下の期間の平均を入れる
1s,5s,10s,30s,1m,3m,5m,10m,20m,40m,1h,1.5h,3h,
5h,12h,1d,2d,4d,1w,2w,3w,1month,2month

(3)直近の出来高の平均
沢山の浮動小数点数で表す
上の期間だけ入れる

(4)現在の価格[$]

(5)自分のポジション
購入価格[$]と数量[%]、含み益[$]の組で表す
複数ポジションある場合は統合して入力

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:31:53.207

行動に関して思ったのは、NNの出力を各行動に対してone-hotにするより
その時々で最適なポジションの数量を1つの浮動小数点数で出してくれた方が良くねぇかって事だな
離散化はNNとは別にやればいいかも

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 17:44:36.602

さっそくプログラム書くか

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:11:03.441

普通にニュースとかイーロンのツイートとかの要素の方が遥かにでかいんだから学習しようないだろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:13:10.677

放置しとくならレバは掛けるな
仕事中や睡眠中の知らん間にどっかの国でビットコイン取引停止とか逆に通貨認定されたりしたらそのまま死亡までありえるだろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:15:07.487

>>51
そういう影響でかい人も1人じゃないから平均化されるんだろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:15:43.914

>>53
影響でかい人が100人もいないのが問題なんだろう

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:20:10.552

>>52
うーん確かに…
まぁしかし放置とは言っても毎日確認すると思うし2倍までなら許容できる気もする
原資10万で始める予定なんで無くなっても別に…というね

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:21:39.547

>>55
平時の内に変な過学習してかつ意外と儲けてたりしたタイミングから延々と値崩れし続けた時に値が下がってるからレバ掛けて買う→更に下がったから損切りする、更に下がってるからレバ掛けて買う→更に下がったから損切する、みたいな事を超速で繰り返すみたいな事されたらそれはもう2倍とか強制とかで止められない死への直行便が出来上がったりしかねないだろ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:23:50.398

>>51
ファンダは学習しようがないけど、なんかファンダ出たときに市場が変な動きするわけだからその予兆を読んでもらいたい

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:26:56.645

>>56
過学習はテストでチェックするので大丈夫だと思う
まぁレバかけないモデルとかけるモデルどっちも作って比較が丸いかな

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:28:30.327

あー
予想だけで学習させて行けそうと思ったら実際の売買で走らせる感じなのか

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:32:07.571

予想ってのがよく分からんけど、例えば2019年のデータだけ抜かして学習させて、最後に2019年のデータで取引のシミュレーションをして
そこで儲かれば実際の取引でも行けるだろうということ

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:37:49.236

予兆って言いたかったのか、今わかった

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:41:25.972

バックテストして少ロットで動かすトライ・アンド・エラーしかないよねきっと

**以下、5ちゃんねるからVIPがお送りします** · 2023/03/31(金) 18:48:36.302

うん？うん…