X
SQLに詳しい人きて
■ このスレッドは過去ログ倉庫に格納されています
0001以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:14:57.448ID:XLNwp/Gp0
10億行のTSVをSqliteにインポートしたいんだけど10万行以上書き込もうとすると一気にメモリリーク起こして書き込めない
どうすればいい？
0002以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:15:31.346ID:K2YBm/e+a
メモリ量増やせばいいのでは
0003以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:16:27.447ID:XLNwp/Gp0
>>2
64GBつんでる
指数関数的にメモリ消費するから意味ない
0004以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:16:45.288ID:vjzpfdEia
分ければいいよ
0005以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:16:54.303ID:edjUMNdm0
ハードのことは知らね
SQLのこと質問しろや
0006以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:17:10.934ID:XLNwp/Gp0
>>4
いま分割中だけど一生終わらない
0007以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:17:27.262ID:/OTcfexr0
時々メモリ解放する
0009以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:18:32.889ID:XLNwp/Gp0
>>7
メモリリーク起こしてるっぽくて一瞬でメモリ食い尽くす
0010以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:18:53.050ID:XLNwp/Gp0
>>8
俺が見るんだよ
0011以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:19:16.313ID:vjzpfdEia
>>6
コマンドひとつで分割なんてできるでしょう
分割ファイルを順番に読み込むなんてシェルでも組めば終わりでしょう
0012以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:20:09.091ID:8T/sX1QlM
バッチで小分け
0013以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:20:29.723ID:XLNwp/Gp0
>>11
それをやってる
10万行ごと区切ってる
いま300ほどtsv出来てる
0014以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/05/06(金) 17:38:45.670ID:J+jro70jH
sqliteだとしんどいのかなぁ
細かくチューニングしやすいPostgresqlとかにしようかなぁ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況