ゲーミングPCでAI動かしてるオタクだけど、凄い悲しい。
■ このスレッドは過去ログ倉庫に格納されています
絵ならともかく言語系を個人pcで動かす利点ってなに >>12
そんなのするならH100買ったほうがマシ グラボ複数枚さしても意味ないよな
グラボ間のデータ転送が遅すぎて >>17
やっぱりそうなんだ
H100のクラスタとかNVLinkしてるもんね。 そりゃガチるなら家庭用1枚なんかじゃ話にならないのは分かりきってる世界だろ 今はFalcon 180B動かしてるけど、全然遅すぎて… てか、OpenAIとかAzureってFPGAとか使ってるのかな
普通のグラボであの速度って出るもんなのかなぁ >>23
4090を5枚動かせるのってEPYC複数載せなきゃ無理じゃね?そんなん自作するの無理じゃね? >>22
28万5000基のCPUコアと1万基のGPUを搭載したスーパーコンピュータらしいぞ 個人レベルで音声生成してるの聞いたことあるけどシャリシャリ言ってて聞き苦しくてひどかった 家庭では34Bを4Bit量子化して動かすのが現実的 ■ このスレッドは過去ログ倉庫に格納されています