YouTubeの動画を検索できる検索エンジンが作りたいんだが？

[1 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:30:40.094 ID:RrMluFmS0]

協力してくれるやつおらんか？

[41 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:42:51.371 ID:4VYVb6250]

YouTubeを使うわけじゃなくてGoogle検索してでてきたYouTube動画の内容を要約するって事でいいの？

[42 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:43:39.003 ID:RrMluFmS0]

>>32
一つの動画あたり100KBぐらいで要約すれば、10万本保存するのに10GBぐらい
10万本要約したら相当使い物になる気がする

[43 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:43:58.107 ID:WwhJMzFqd]

>>31
YouTubeって字幕出るじゃん
それを取得して要約してその要約内容を自分のWebページに掲載する

[44 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:44:38.260 ID:el3jOzR60]

API叩くにしても1日の回数上限とかあるんと違うの？

[45 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:44:52.197 ID:RrMluFmS0]

>>35
それが問題
どの動画をスクレイピングするか考えてる
どういう動画を要約したら有益なのかがわからん
狙いたいのはHowtoとかでヒカキンとかはじめしゃちょーは要約したくない

[46 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:45:28.857 ID:uI8AK5lX0]

スクレイピングしていいかどうかって確か世界基準でソースコードに書いてあるよな
そんなことすらしないやつに協力しても絶対碌なことない

[47 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:45:32.293 ID:HpEMtBoTd]

プロジェクト的には営利？非営利？
協力した場合の見返りや報酬体系は考えてる？

[48 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:45:50.211 ID:RrMluFmS0]

>>41
ん？YouTubeの動画を大量に要約したブラグみたいなの作って、そこに高精度な検索エンジンを作る

[49 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:45:50.605 ID:TDyajUMj0]

ディレクトリ型復権の兆し

[50 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:46:50.381 ID:RrMluFmS0]

>>44
yt dlpはそういうの回避できる
中身はスクレイピングと一緒だし
YouTube data apiつかうなら引っかかるね

[51 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:46:54.817 ID:WwhJMzFqd]

>>46
そんな訳の分からん適当なこと言ってる暇があるなら調べりゃよくね

[52 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:47:18.027 ID:4VYVb6250]

>>48
それは容量的な問題できつそうな気がする

[53 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:47:39.127 ID:RrMluFmS0]

>>47
見返りは考えてない
そもそもビジネスになるかわからん
動画コンテンツを世の中から消し去りたいというのが目的

[54 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:48:00.637 ID:RkQGlEpC0]

>>37
字幕ってリアルタイムで訳してんじゃないのあれ
HLSで字幕も一緒に落としてくれるヤツあるけど
検索するのに役立つかな

[55 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:48:48.307 ID:j4LFrUwkr]

スクレイピングは駄目みたいな風潮って本当謎だよな

[56 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:49:02.789 ID:RrMluFmS0]

>>52
Elastic Searchなら数百ギガ単位の検索は可能
一つの動画を100KBに圧縮できたら、数百万本は検索できるはず
もちろん運用費バカにならんけど

[57 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:49:53.518 ID:RrMluFmS0]

>>54
yt dlpなら字幕のみをテキストファイルとしてダウンロードできる

[58 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:50:08.092 ID:WwhJMzFqd]

動画コンテンツをこの世から消し去りたいも意味不明だしな

[59 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:50:22.768 ID:RrMluFmS0]

>>55
まあ検索エンジンってビジネスモデルは全部スクレイピングだしな

[60 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:50:28.024 ID:el3jOzR60]

YouTube動画をソースにしなくても、普通に知りたい情報について生成AIに質問して要約させれば良くね？

[61 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:51:05.609 ID:pEdu+dAQ0]

今規約引っかからなくてもいくらでも書き換えられるし

[62 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:51:15.136 ID:RrMluFmS0]

>>60
うーん
そうかもね

[63 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:51:27.120 ID:c3EY7NlA0]

>>53
なんとも言えんとこだな…
動画で出ているノウハウは、すでにネット上でテキスト化されて出回っているだろうと思わなくもないので…

[64 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:51:35.761 ID:HpEMtBoTd]

>>53
動画検索エンジンで動画検索補助じゃなくてコンテンツを消し去るとは？

[65 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:52:17.389 ID:j4LFrUwkr]

>>61
AI学習のためですって言えばスクレイピングし放題なんじゃないの？

[66 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:55:19.467 ID:RrMluFmS0]

>>63
今の検索エンジンってアフィブログしか上に出てこないじゃん
それに信頼がおけないから顔がわかってる人からの情報を動画で手に入れてる
だが顔がわかってる人の情報を動画から得るのは時間がかかる
なのでそこをAIで簡略化する

[67 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:56:17.502 ID:RrMluFmS0]

>>64
理想は動画を見なくても良い世界を作ることだけど、とりあえず最初は有益でない動画を見なくて良い仕組みを作りたい

[68 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:57:37.576 ID:c3EY7NlA0]

>>66
キュレーションサイト対策を施したキュレーションサイトになりそうｗ

[69 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 12:59:54.210 ID:RrMluFmS0]

>>68
そうかもね
やってることは2ちゃんまとめと変わらん

[70 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:00:43.469 ID:gXRYcNZr0]

>>66
素晴らしい考えだ
いっそyoutubeに就職してほしい

[71 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:01:56.958 ID:RrMluFmS0]

問題はこれをどうやって安く実現するかなんだよ

[72 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:03:20.104 ID:HpEMtBoTd]

>>67
有益でない動画の字幕の要約が面白そうになってしまったら視聴者は誤認して観てしまうよね？
事前に弾くなら字幕の中身から動画の有用性を評価する仕組みが必要になるけど実装アイデアはある？

[73 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:04:27.290 ID:PigaA/l60]

最近履歴すら改変？されるようになったわ
２日ぐらい前に見た動画全部無かったことにされてた

[74 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:07:03.498 ID:HpEMtBoTd]

>>71
とりあえずWSLのUbuntuをサーバーにしつつOpenAI APIの従量課金で試してみれば
自分のPC使いたくなければAzureのVMで

[75 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:07:53.973 ID:HpEMtBoTd]

>>71
とりあえずWSLのUbuntuをサーバーにしつつOpenAI APIの従量課金で試してみれば
自分のPC使いたくなければAzureのVMで

[76 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:08:25.879 ID:RrMluFmS0]

>>72
そこは考えてないな
とりま要約して一覧にして検索できたら便利ちゃう？ぐらいしか構想はない

[77 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:10:37.672 ID:RrMluFmS0]

>>74
データをなるべくS3に入れたい
S3に要約情報突っ込んで検索する部分だけVMにしてなんとかするアーキテクチャ考えてるけど、全文検索を安くVM上でやる手段が見出せてない

[78 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:12:43.033 ID:RrMluFmS0]

というよりまずはどの動画をスクレイピングするのかって問題がある
検索して見い要約だけ見たい動画を網羅的に1万件ぐらいリストアップして、それで静的サイトブログみたいなの作ってクライアントサイド検索できるようにしたい。
それである程度有益性わかる気がする

[79 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:13:45.948 ID:RrMluFmS0]

>>78
このアーキテクチャならオブジェクトストレージとCDNのみで作れるから運用費ほぼゼロだし

[80 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:13:46.092 ID:Wzz2xDR80]

いいじゃん
ここ5年くらいはニコニコしか使ってないけど動画内容テキスト化して検索できたら便利そう
ただyouyube自動字幕だとうまく内容を落とせないことになりそう

[81 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:14:41.415 ID:RrMluFmS0]

>>80
一本だけ試しにやってみたけど、確かに精度悪いけど、動画のサムネのみで内容予想するよりかは遥かに良いよ

[82 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:15:56.042 ID:RrMluFmS0]

初めは女性向け美容動画ってコンテンツに絞ってやろうかな
これが一番いい気がしている

[83 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:16:24.222 ID:RrMluFmS0]

純粋にVIPPERの技術力低すぎて会話にならん感あるなぁ

[84 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:18:21.855 ID:QwK28iJLd]

>>77
S3内のデータのパスとか軽いメタデータをVM内のDBに突っ込んでDjangoとか使って接続

[85 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:19:17.925 ID:RrMluFmS0]

>>84
それって全文検索出来る？

[86 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:20:22.324 ID:+n3dWASSd]

>>5
タイトルドンピシャより人気の動画が上に来るシステム終わってる

[87 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:29:15.913 ID:QwK28iJLd]

>>85
要約の全文検索か
それならcosmosDBみたいなお安いDBに直接突っ込んで良いような気がする
ストレージと接続した全文検索は正直わからん

全文検索しなくても要約から検索ワードになりうる単語をAIに抽出させてタグとしてDBに保存させれば十分な気がするが全文検索って必須か？
表記揺れもAIに挙げさせて別途構造データとして保存させておけば表記揺れ対応もできそうだし

[88 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:34:15.025 ID:RrMluFmS0]

>>87
S3に要約突っ込む方式はタグつけとかだるくなるか
だったら普通にmongodbとかその辺に全て突っ込んで機能として全文検索出来るようにしたほうが作るのは楽そうだなー

[89 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:36:06.145 ID:euqmHNEN0]

巣で死ね

[90 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:38:55.395 ID:+6QrFNhO0]

アイデアだけはあるけどアホな奴って大変だな

[91 以下、5ちゃんねるからVIPがお送りします 2024/12/13(金) 13:45:43.950 ID:QwK28iJLd]

>>90
有能ならもう動いてるからな