X
Excelで300万行を速く計算する方法
■ このスレッドは過去ログ倉庫に格納されています
0001以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:53:30.277ID:Wy5eu6rW0
昨日は寝てた
すまん
0004以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:54:32.659ID:qPBFCghA0
普通に計算すれば良いじゃん🤗
0005以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:54:42.454ID:Wy5eu6rW0
数十万行のExcelファイルが複数あって
それを速く集計する方法について
0006以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:55:18.321ID:pxS1Q5D5M
アルゴリズムを最適化するってこと？
0008以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:56:10.395ID:qPBFCghA0
ハイスペパソコンオーバークロックして使おう
0009以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:56:31.266ID:Wy5eu6rW0
昨日はExcelの限界は1048576行列にだよってレスが多かったけど
複数ファイル合わせて300万行超えるよって話
0010以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:56:36.101ID:uqNLUd7+a
なんか使う関数次第で結構差が出るんだよな
lookup系のヤツ使うと特に重くなる印象
0011以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:56:42.149ID:+4GTemah0
上限65Kじゃないの？
0012以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:56:52.056ID:Ye9mfG3g0
300万行のセルに入力するのがだるい
そしてあっているかわかるの?
0013以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:57:27.103ID:S42MDiy50
Microsoftに課金する
0014以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:57:41.510ID:d6Csh/kFa
1 フォルダ配下のファイル名を取得する
2 ファイル名でループする
3 ファイルを1行ずつ読み込むループさせる
4 必要な値を配列に格納する or 計算結果を変数に格納
0015以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:58:06.610ID:+4GTemah0
足し算引き算なら余裕じゃないの？
0016以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:58:14.281ID:Wy5eu6rW0
元データ全部合わせると300万行超えるけど
集計したら数千行で収まります
0017以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:58:22.851ID:poydRE4o0
スパコン買ってくる
0018以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:58:46.052ID:d6Csh/kFa
>>12
だいたいこういうのビックデータ分析だからデータはあっているものとするんじゃない？
俺は1日3000万件収集されるビックデータを分析するために簡易的にVBA使ってた
0021以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/27(月) 23:59:49.341ID:2Mb/qEyv0
CSVとして結合した単一ファイルを作りExcelの存在を無視して集計する
0022以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:00:27.845ID:/pn7F43j0
ADOでテーブルに入れてに計算すれば
0023以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:00:47.556ID:a0M/NbKk0
今やってる事

1つのフォルダに数十万行のExcelファイルが複数ある
それをQueryで一つに集計する
集計はQueryが行うけどSUMIFSと同じようなイメージ
0024以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:01:32.434ID:hQYtVbDF0
>>21
俺もこれかな
またはAccessで瞬殺かな
0025以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:01:46.766ID:DwyGFgbo0
>>19
範囲選択してコピーしてそのまま値だけ貼り付けでよくね
0026以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:03:54.080ID:a0M/NbKk0
VLOOKUPって言う人多いけど365だからもう使わないです
元データを1つのフォルダにぶっこんであとはQueryが勝手に計算する
0027以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:04:58.814ID:3uzmQQWw0
vbaって大量データの場合重いよね
c#でコード書いてる
0028以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:05:26.367ID:a0M/NbKk0
PowerQueryとPowerPivotの組み合わせ
いわゆるモダンExcelでもかなり遅い
0029以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:05:47.671ID:n5zw0qusM
mysqlに格納しろ
0030以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:06:17.762ID:a0M/NbKk0
>>27
昨日はC++が秒殺だよっていうレス見たけどどうなのかな
0032以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:07:18.043ID:a0M/NbKk0
>>31
ExcelのPowerQuery
0033以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:07:51.836ID:sjech6tla
よく分からんけど何のデータ？
0034以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:09:23.896ID:hX4DG6It0
Webスクレイピングでサイトから撮ってきたデータを一行ずつ処理してるんだけどそれで1分くらいかかるわ
もう少し最適化したい
0035以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:09:57.001ID:a0M/NbKk0
>>33
コード　名前　数
の3列が1ファイルに数十万行ある
コードは全部で1万種類くらい

データが100万行あっても集計したら1万行になるはず
0036以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:11:09.318ID:TpwxWCgsM
てかさっさとかけよ
>>1の時点で書いとけ
0037以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:11:21.623ID:a0M/NbKk0
コード=名前という認識でOK
0038以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:13:08.158ID:a0M/NbKk0
モダンExcelだと遅い
速く計算したい
ワークシート関数だともっと遅い
0039以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:13:43.305ID:B6WU0DLi0
Rustで書けよ
0040以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:14:06.473ID:Djd8S1i30
そんなシンプルなデータをExcelにしてる時点で管理がウンコだな
明日からcsvにしろ
0042以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:14:35.944ID:a0M/NbKk0
>>39
すまん
プログラミングはサッパリわからん
0043以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:15:10.891ID:B6WU0DLi0
プログラミングわからんなら300万行に手を出すなよ
0045以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:15:32.631ID:a0M/NbKk0
>>40
csvなら速いか？
300万行でも楽々？
0046以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:16:43.783ID:B6WU0DLi0
計算できるかは知らんけどsakuraで正規表現で必要なデータだけトリムしてExcelに貼れば？
0047以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:16:50.829ID:a0M/NbKk0
>>43
すまーん
0048以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:17:46.020ID:a0M/NbKk0
>>46
やっぱExcelデータじゃ厳しい？
0049以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:18:01.744ID:a0M/NbKk0
>>44
Pythonわかんなーい
0050以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:18:15.815ID:lcpnpxg20
GPU支援を有効にする
0051以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:18:28.044ID:n5zw0qusM
表計算ソフトに万単位求めんな
0052以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:19:20.332ID:rwTtFmHa0
難しい事考えないでお勉強しなさい
0053以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:20:23.484ID:B6WU0DLi0
>>48
つーか情報小出しだし要件が全く不明
わざとじゃないなら300万行処理できる知性に達してない
0055以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:22:40.596ID:/pn7F43j0
こんなところでウダウダ聞くより何でもいいからプログラム覚えた方が早いんじゃね
0056以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:22:55.064ID:a0M/NbKk0
>>54
お！調べてみる
ありがとう！
0057以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:23:30.224ID:a0M/NbKk0
>>53
PowerQueryはわかる？
0058以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:23:34.083ID:B6WU0DLi0
一回CSVにしてからテキストエディタに読み出して10万行刻みにExcelに貼り付けて集計していけばいいじゃん
0059以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:28:00.097ID:fv/g32ww0
Excelのクエリ知らないのが多いからここで聞いても無駄
0060以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:30:49.271ID:a0M/NbKk0
PowerQueryとPowerPivotならわる
スピルも使える

Queryとスピルの組み合わせが良いと思うんだけど
0061以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:32:55.960ID:fv/g32ww0
クエリのマージを多用すると重くなる
グループ化ならいいけどマージはワークシートでやるのがオススメ
0062以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:34:47.577ID:a0M/NbKk0
>>58
Query一発じゃだめなのか？
0063以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:35:35.954ID:a0M/NbKk0
>>61
マージは数カ所やってたわ
変えてみる
0064以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 00:55:07.277ID:CmTUGn5+0
筆算する
0065以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 01:08:39.347ID:KlQwxkE30
Python派だな
めちゃくちゃはえーぞ
0068以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/06/28(火) 01:51:35.623ID:hFSLJnGh0
何でわざわざエクセルなんだよ
アクセスでもなんでもあるだろ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況