X
ウェブスクレイピングに詳しいやつ来てくれ！
■ このスレッドは過去ログ倉庫に格納されています
0001以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 10:59:00.696ID:Lmc9BjxG0
Selenium使わないでスクレイピングできたぞ～～～
0002以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 10:59:23.861ID:GHny0mFKd
普通
0003以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 10:59:57.191ID:Lmc9BjxG0
youtu.be/ip_vqhvyDLE
0004以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:00:51.101ID:Un15U3cq0
DDoS攻撃にならないように気をつけろよハゲ
0005以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:02:22.312ID:Lmc9BjxG0
>>2
画像検索のスクレイピングだぞ？
こういうサイトってJavaScriptで書かれててスクロールとかしないと画像のタグが増えていかないからしんどいんだ
だからこういうスクレイピングはSelenium使うのが一般的だった
0006以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:02:32.386ID:Lmc9BjxG0
>>4
なんそれ？
0007以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:03:06.057ID:GHny0mFKd
>>5
俺はできるからなぁ
0008以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:05:45.549ID:Lmc9BjxG0
解決策として.NET標準搭載（Androidについてたやつのパクリ）のWebViewコントロールを使ってそのWebViewを動かしながら取得するという方法があった
このWebViewにはプログラムでスクロールするメソッドが普通にあるからSelenium使わずともそのページのすべてのHTMLが取得可能というわけさ
0009以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:06:00.175ID:Lmc9BjxG0
>>7
どうやんの？
教えて？
0010以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:07:36.722ID:GHny0mFKd
>>9
前教えてお前は無視したから2度は言わない
ネットワークタブ開いて自力でやれ
0011以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:07:57.924ID:Lmc9BjxG0
なんかブラウザのWebDriverインストールしてなんやかんやするって難しい方法もあるみたいだね
それはJavaScriptに精通してないと無理だったりするみたいだわ
https://zenn.dev/ymd65536/articles/e13f278a5d9803
0012以下、5ちゃんねるからVIPがお送りします
垢版 |
2022/08/27(土) 11:08:29.595ID:Lmc9BjxG0
>>10
なんだそれ…
■ このスレッドは過去ログ倉庫に格納されています