スクレイピングやる時って生IP→tor→串にして30秒に1回程度ならなんの問題もないか?
■ このスレッドは過去ログ倉庫に格納されています
警察が本気で追ったらこういう怪しいスレとかSNSの発言とかが洗われてそこから特定とかは余裕でされるよ
スクレイピングされるサービスが通報するかどうかは知らんけど あからさまに怪しいアクセスなら遮断とかも簡単にできるしね 1秒に1回が逮捕されるライン?
図書館のやつWikipediaで見た タイムリーだな。
俺もスクレイピングしてる。
javascriptでやてるけどawaitとかasyncの関係ないとこでもたついてる。
全部逐次処理にすりゃええやんって思うわ ライブラリ何使ってんの?
puppeteerとかcheerioとか? お前一人の力でサーバーダウンさせられるとでも思い込んでるのか puppeteerや。
playrightとかphpかpythonでやってたけど
なんかぱぺてーあやってる。 ダウンはなくてもアクセスしにくくなったら問題になるとかないのかな
あと著作権とか心配や googleで検索してページ移って〜内容を〜っていうのは使えるかも。
ただpandasを封印されるからそこは痛い。
あとちょっと重い。ヘッドレスにした方がええかもな… ■ このスレッドは過去ログ倉庫に格納されています