自分のパソコンで動かすChatGPTみたいなやつ

[0001 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:35:30.869 ID:kY/8UQMc0]

すごい
ChatGPTで断られるエッチなリクエストも受け入れてくれる

[0002 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:35:51.482 ID:vghM3AhT0]

nvidia？

[0003 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:36:17.907 ID:kY/8UQMc0]

>>2
いや、Macだよ

[0004 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:36:58.523 ID:ac76pWgI0]

みせて

[0005 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:37:27.268 ID:kY/8UQMc0]

わかった、画像用意するからちょっとまってて

[0006 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:38:59.246 ID:kY/8UQMc0]

さっきやってたなりきりエロチャ
https://i.imgur.com/YrDkPWv.png

[0007 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:39:40.488 ID:ac76pWgI0]

🐮がスレ立てる時代か

[0008 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:40:11.357 ID:kY/8UQMc0]

>>7
そうだよ

[0009 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:40:48.227 ID:5ouRS7hh0]

家畜は黙って食われとけよ

[0010 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:41:30.387 ID:kY/8UQMc0]

>>9
まあそう言うなよ

[0011 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:42:30.161 ID:kY/8UQMc0]

エロチャに限らず割となんでもプロンプト通るから面白い

[0012 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:46:33.411 ID:034AKej+0]

文章系もローカル環境でやれる奴あるのか
AIのべりすと使ってたわ

[0013 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:48:24.689 ID:kY/8UQMc0]

>>12
AIのべりすとは日本語LLM業界そのものを盛り上げてくれたけど、ローカルで動く最新のAIはあれとは一線を画す性能あると思う
無料のChatGPTより優秀なのも今だと結構あるし

[0014 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:49:16.027 ID:kY/8UQMc0]

最近出てきたモデルのうち
CohereのCommand R plus
Llama 3 70B
は有料版のChatGPTと同等レベルの性能がある

[0015 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:51:21.880 ID:034AKej+0]

サンクス調べてみるわ

[0016 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:53:44.143 ID:kY/8UQMc0]

もしそいつら動かすVRAMが足りなければ、LightChatAssistantとか軽量なモデルも何個も出てるから、色々遊んでみて欲しい

[0017 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:54:37.222 ID:ouBaPyfnr]

大規模LLMってローカルで動かせるん？
あんまり詳しくないけど膨大なVRAMないと厳しいイメージ

[0018 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 20:55:54.359 ID:kY/8UQMc0]

俺が今使ってるやつは確かにデカくてVRAM 56GBくらい必要
でも、8GB程度でもかなり高性能なのが今年になってバンバン出てきたんよ

[0019 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:00:52.920 ID:6Y7ELt9Y0]

数十Bレベルだとまず普通のPCでは動かんよな
パラメータ数に対する精度は学習データの質に左右されるとかなんとか

[0020 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:00:58.732 ID:ouBaPyfnr]

>>18
openAIとかMicrosoftが出してる奴はそうだよね
ちょっと前に日本語特化のLLMが超省メモリで家庭用でも動かせるどうのこうのって見た

[0021 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:05:09.381 ID:kY/8UQMc0]

>>19
でかいモデルほど学習データセットはでかくなるな
データの質に関しては、Fineweb含め高品質なデータセットがパブリックになってるから、ある程度敷居は下がってるんじゃないかな

>>20
Microsoftは最近軽量モデルで盛り上がってたね、phy-3ってやつ
なんかスマートフォンとかで動かしてる人もいた気がする

[0022 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:05:54.845 ID:1GSCWQx00]

>>18
グラボ何使ってんんだ

[0023 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:07:40.669 ID:1mDixkYB0]

>>6
下から五番目よく見たらどういう体勢なんだよｗｗｗｗｗ

[0024 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:09:04.821 ID:kY/8UQMc0]

>>22
Mac Studioの64GBモデルで、グラボは載せてないよ
Apple siliconはunified memoryっていうアーキテクチャで、RAMとVRAMが共有になってるから割と安くでかいモデルのGPU推論ができる
もちろんNVidiaより計算能力は低いけど、普通にチャットするレベルならあんまり気にならない速度で結果出るよ

[0025 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:09:58.673 ID:034AKej+0]

Llama 3 70B調べたら
VRAM8G、メモリ64G必要みたいだからうちのPCだとギリギリだな
インスコ自体はツールでかんたんそうだけど

[0026 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:10:22.513 ID:kY/8UQMc0]

>>23
そこは俺もん？って思った
まあ時々こういうのはある

[0027 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:13:01.711 ID:1GSCWQx00]

>>24
ほえー
俺RTX3060 VRAM12GB でメインメモリ64GBなんだがWindowsではメインメモリをVRAM化できないのかな悲しい

[0028 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:13:06.283 ID:kY/8UQMc0]

>>25
試してダメっぽかったら小さいバージョン(Llama 3 8B)ってのもある
あと、CohereのCommand R(plusがつかない無印)ってやつはその間くらいの大きさで、かなり優秀

[0029 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:14:36.796 ID:kY/8UQMc0]

>>27
今はVRAMとメインメモリにモデルを分散する仕組みが開発されたから、計算は遅いける動かせるよ(途中までGPUで計算して、残りをCPUに計算させる)

[0030 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:24:17.426 ID:034AKej+0]

>>28
サンクス
取りあえずLM Studio使ってLlama3系試してみるわ

[0031 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:26:31.285 ID:kY/8UQMc0]

>>30
それがいいと思う

[0032 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 21:57:20.086 ID:kY/8UQMc0]

一応、ChatGPTでコード書かせる人は多いと思うけど、ローカルでもこういうことができる
https://i.imgur.com/gCGdFqy.png

[0033 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 22:29:37.153 ID:jQaO/yMx0]

Llama 3って日本語に弱いとかない？

[0034 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 22:52:24.679 ID:kY/8UQMc0]

まだ人いたのか
>>33
Llama 3は公式では英語のみってことになってるけど、日本語も結構流暢だよ

[0035 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 22:55:01.323 ID:kY/8UQMc0]

学習セットの95%が英語コーパスという話だけど、そもそもの母数が15兆トークンとか言う意味わからん数値になってるから、日本語コーパスもそれなりに入ってたんだと思う

[0036 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 23:17:42.736 ID:kY/8UQMc0]

日本語の会話だとこんな感じ
https://i.imgur.com/M4v9pcY.png

[0037 平岡一族 ◆lQvwmSuS2w 2024/05/03(金) 23:36:02.816 ID:edLIkA7Qa]

名探偵コナンでコンピュータに自分のお母さんの名前つけてずっと話しかけてる香具師いたけどそんな感じ?

[0038 以下、5ちゃんねるからVIPがお送りします 2024/05/03(金) 23:39:24.603 ID:kY/8UQMc0]

それは知らんけど、今の技術ならそれくらいはできるんじゃないか？