探検
ウェブスクレイピングのプログラムやるぞ
■ このスレッドは過去ログ倉庫に格納されています
0002以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:15:12.309ID:pE5umMzO00003以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:16:07.069ID:pE5umMzO0スクレイピングした方が規制されにくいんじゃ…？と思ったけどどうなの
0004以下、無断転載禁止でVIPがお送りします
2022/12/23(金) 18:16:12.091ID:Gu+CKkRx00005以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:18:03.112ID:pE5umMzO0TSでもRustでもいいけどリクエストはともかくスクレイピングのやり方しらないし
0006以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:18:24.252ID:pE5umMzO00007以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:19:37.303ID:pE5umMzO00008以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:21:05.258ID:pE5umMzO0かつて俺がつくったスクリプトももう動かないしな
0009以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:21:14.467ID:6ZeRQUdNd0010以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:22:52.087ID:pE5umMzO00011以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:23:02.669ID:pE5umMzO00012以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:23:43.583ID:8kBxbkFla0013以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:24:42.766ID:pE5umMzO0ウェブブラウザをプログラムから操作して情報を抜き取ったりリクエストを投げたりする
0014以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:26:16.934ID:8kBxbkFla0015以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:27:19.140ID:pE5umMzO0Pythonプログラムのメモリ使用量を常に監視しなければならない
その方法を調べた
https://www.haya-programming.com/entry/2019/07/16/230227
import os, psutil
process = psutil.Process(os.getpid())
process.memory_info.rss # メモリ使用量(Byte)
かんたん
0016以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:28:23.727ID:pE5umMzO0いうほど面白くないよ
初心者はセキュリティやウェブスクレイピングなんかより普通のウェブをやったほうが100倍楽しい
俺はTwitterのフォロワーを増やしたいから仕方なくやる
0017以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:30:21.947ID:pE5umMzO0>>> process = psutil.Process(os.getpid())
>>> process.memory_info().rss
20082688
ただREPLを起動しただけで20MB以上メモリを食ってる
これにSeleniumを載っけたらどうなるのか…
0018以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:32:31.271ID:pE5umMzO0>>> driver = webdriver.Chrome()
>>> process.memory_info().rss
31748096
31MBちょっと
これなら大丈夫かな
0019以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:36:48.486ID:pE5umMzO0ちなみにChromeは34MB
時間経過とともにメモリが肥大したらアウト
0020以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:39:34.699ID:pE5umMzO00021以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:39:47.630ID:pE5umMzO00022以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:41:16.258ID:ylLwt5SkH0023以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:41:24.580ID:pE5umMzO0リクエストを受けられるようにFlaskを導入すべきか…
0024以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:41:47.623ID:pE5umMzO0テストしたいわけじゃないからどうでもいい
0025以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:42:59.007ID:w80LVkKE00026以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:44:32.942ID:ylLwt5SkHスクレイパーとして使ってるよ
0027以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:45:23.384ID:pE5umMzO0在庫なしで転売なんてあるんだ、初めて知ったわ
かしこいな
0028以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:45:57.498ID:pE5umMzO0俺は金ねンだわ
0029以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 18:52:34.536ID:pE5umMzO00030以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:06:19.685ID:pE5umMzO0
うへうへ
0032以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:17:11.609ID:pE5umMzO00033以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:21:13.305ID:pE5umMzO0 でけたわ
https://i.imgur.com/1pbvfgb.png
後はCookieを既存のものによしなにすれば書き込めると思う
そんなに難しくはないから頑張れ
0035>>1
2022/12/23(金) 19:37:43.673ID:pE5umMzO00036以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:41:12.714ID:pE5umMzO0とりあえずUAの偽装で回避したが、UAそのままだと余所エラーが出ちまうな
https://pastebin.pl/view/8e96d4f4
0037以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:42:35.620ID:pE5umMzO00038以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 19:44:32.063ID:pE5umMzO0別のところでsession idを貰ってきてCookieにセットしたとしても、expireするたびに再度別の所から貰ってくる必要が出てしまうので何とか自力で通りたいところ
0039以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 20:02:40.284ID:pE5umMzO0これぶち込むか
0040>>1
2022/12/23(金) 20:11:36.884ID:pE5umMzO00041>>1
2022/12/23(金) 20:21:34.496ID:pE5umMzO00042以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 20:23:34.059ID:pE5umMzO0- UAの自動偽装 (latest-user-agentsを利用)
- 広告の読み込みをスキップ (DesiredCapabilitiesとWebDriverWaitを併用)
0043>>1
2022/12/23(金) 20:26:19.264ID:pE5umMzO00044>>1
2022/12/23(金) 20:34:09.188ID:pE5umMzO00045>>1
2022/12/23(金) 20:41:41.197ID:pE5umMzO00046>>1
2022/12/23(金) 20:52:10.122ID:pE5umMzO00047>>1
2022/12/23(金) 20:52:39.137ID:pE5umMzO00048>>1
2022/12/23(金) 20:53:41.401ID:pE5umMzO00049>>1
2022/12/23(金) 20:56:12.170ID:pE5umMzO00050>>1
2022/12/23(金) 20:57:14.364ID:pE5umMzO00051以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 21:00:07.200ID:pE5umMzO0- Cookieの管理はプログラムが生きている間はSeleniumが自動的にやってくれる→明示的にSetする必要無し
- Seleniumでは画面外の要素はクリックできない→execute_scriptメソッドを使ってjsからclick()を実行すべき
0052以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 21:05:20.558ID:pE5umMzO0https://pastebin.pl/view/10d851df
0053以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 21:05:40.496ID:pE5umMzO00054以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 21:33:06.508ID:pE5umMzO0/<server>/<board>/<thread>/へのPOSTで5chへの書きこみ
POSTのパラメータは以下
- body(str): 書き込む内容
- name(str|None): 名前
- mail(str|None): メール
- cycle(int|None): 書きこみ周期(秒)
0055以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 21:55:38.242ID:pE5umMzO00056以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 22:42:36.650ID:pE5umMzO00057以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 22:45:18.456ID:Xxiu4wrmH0058test
2022/12/23(金) 22:48:50.715ID:3IU4aDEta0059test
2022/12/23(金) 22:48:52.552ID:3IU4aDEta0060test
2022/12/23(金) 22:48:54.665ID:3IU4aDEta0061以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 22:50:17.107ID:HOF/097Wr0062以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 23:10:02.460ID:pE5umMzO00063以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 23:12:23.874ID:pE5umMzO0うむ
動かないと虚無だけどな
>>61
puppeteerってのは初めて聞いた
0064以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 23:52:36.528ID:pE5umMzO00065以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 23:55:36.768ID:pE5umMzO00066以下、5ちゃんねるからVIPがお送りします
2022/12/23(金) 23:56:08.625ID:T4sn/+Vtdできたら楽そうでいいな
0067なまえ
2022/12/23(金) 23:58:28.567ID:pE5umMzO00068以下、5ちゃんねるからVIPがお送りします
2022/12/24(土) 00:06:07.869ID:ouWdOAF90EVE■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【AERA】蓮舫「私ほどふさわしい人はいない」 国際都市・東京のトップを目指す理由 ★2 [おっさん友の会★]
- 【三重】駅で特急にはねられた男性がホームの女子高校生を直撃 男性は死亡し女子高校生も大ケガ 一時運転見合わせに [煮卵★]
- 「このままでは人口最少県に」 危機感強める知事が国に訴えたいこと [蚤の市★]
- 【チバテレ】宮迫博之 5年ぶり地上波復帰告知も「放送中止の報道…現在チームで事実確認」 番組表には別番組 [おっさん友の会★]
- 【大阪・関西万博】メタンガス「パビリオンエリア」でも検出 当初は「ガス存在の可能性低い」と発表 [煮卵★]
- 手りゅう弾の爆発事故で隊員死亡 山梨の陸自北富士演習場 [少考さん★]
- 【LV0映画】モメンらの好きな「映画監督」って誰？ [562983582]
- 【驚愕】謎の日.本人女性RAPグループ、欧米で人気爆発 [796594164]
- 中国父さんブチギレ「ソシャゲメーカーは未成年をゲーム依存にさせ金儲けの道具に使ってる。未成年が無断で課金したら返金せよ」 [931948549]
- ギラファ🏡ギラファ🏡
- 【悲報】女が落ちる瞬間、ケンモメンには意味不明と話題に [769931615]
- 【画像】100人中959人が認めるラーメン見つかるｗｗｗｗｗｗｗｗｗｗｗｗ