プログラミングでウェブスクレイピング詳しいやついる？

[0001 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:25:15.023 ID:scrKPYUR0]

ブラウザのF12で見れるHTMLにはあるタグがスクレイピングしたHTMLで見つからないんだが？

[0002 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:26:06.531 ID:pNHf4BWg0]

JavaScriptで動的に作られるページなんでしょ

[0003 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:26:28.757 ID:scrKPYUR0]

>>2
というと？

[0004 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:27:40.074 ID:vR4zk0Kd0]

seleniumでも使ってろってコト

[0005 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:28:06.459 ID:2dWW2Efb0]

UserAgentで表示するサイト切り替えてるんだよ

[0006 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:29:36.491 ID:scrKPYUR0]

>>4
Seleniumって商用利用できるの？

[0007 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:33:07.982 ID:vdmvD/Qa0]

ソースのHTMLとデベロッパーツールのElementsには違いが出る場合がある
最初に読み込まれた文書の構成がjsで書き換わるような場合は
単純なスクレイピングではjsが実行されず参照したい要素が存在しないことがある

[0008 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:57:27.362 ID:cDBr1sFWr]

動的生成されるやつだよ
クライアントサイドレンダリングだとjs実行しなきゃレンダリングされない

[0009 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 20:59:04.822 ID:CPRIcDk80]

つまりjsの機能を呼び出さないといけないってことか…

[0010 以下、5ちゃんねるからVIPがお送りします 2022/08/24(水) 21:25:45.393 ID:WVTizL29r]

クライアントサイドレンダリングの場合JSONやらなんやらでデータのやり取りしてたりするしネットワークタブでJSONやり取りしてるところ見つけてそこからリソース引っ張ったほうがはやい