AWSに詳しいやつちょっと来いや

[0001 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:51:16.861 ID:FSumjIyH0]

200万/月のwebページを保存して分析したいんだが何使うべき？

[0002 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:53:50.773 ID:FSumjIyH0]

選択肢としてはこんなもんかなぁと

1.lambdaでhtmlを取ってきてS3に保存
2.lambdaでhtml取ってきて加工して必要な部分だけDynamodbに保存
3.ec2とauroraで頑張ってaurora に保存

[0003 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:54:31.023 ID:nGzRa78H0]

HTMLというかテキストだけでいいの？

[0004 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:56:44.838 ID:FSumjIyH0]

>>3
そうだね
イメージ的にはTwitterのツイートをユーザー、文章、投稿日、いいね数、リツイート数、、、を取ってきて後で分析したいみたいなイメージ

[0005 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:57:57.468 ID:FSumjIyH0]

ちなみにhtmlの容量は全て20KBぐらいに揃ってる

[0006 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 02:58:52.584 ID:FSumjIyH0]

最初、全部取ってきてS3突っ込んどけばええやろって思ってlambda書いてS3に打ち込んでたらめっちゃ課金されたから改善したい

[0007 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 03:00:34.802 ID:FSumjIyH0]

よく考えると2000万 × 20KB = 400GBなんだよなぁ
これに加えてS3のput_objectはいっばいやると課金もエグい

[0008 以下、5ちゃんねるからVIPがお送りします 2022/11/18(金) 03:03:50.929 ID:jPW0wSxB0]

直接TwitterのAPI叩けばいいじゃん
できんのか知らんけど