chatGPTがどうやって動いてるのかマジでわからない……

[0001 以下、5ちゃんねるからVIPがお送りします 2023/08/09(水) 15:15:57.198 ID:2X8W48iD0]

なんであんなに高速に推論できるんや

[0002 以下、5ちゃんねるからVIPがお送りします 2023/08/09(水) 15:16:33.169 ID:2X8W48iD0]

70bのモデルを動かすと一文字推論するのに一秒かかる
chatGPTは速すぎる

[0003 以下、5ちゃんねるからVIPがお送りします 2023/08/09(水) 15:20:22.468 ID:eza7jLWB0]

まあ全部俺の自作自演ってやつなんだけどな。　 　 　 ∧＿∧
　　　　　　　　　　　∧＿∧　　　　　　　　　　　　　　　　　　 （´<_｀ ；）　･･さ、流石だな、兄者
　　　　　　　　　　 （　´_ゝ`）　　　　　　　　　　　　　　　　　　/　　 ⌒i
　　　　　　　　　　／　　　＼　　　　　　　　　　　　　　　　　/ ｨ　　 |　|
　　　　　/￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣/
＿_　＿/　 Prius　 //　 FMV 　//　 VAIＯ　// Ｍeｂiｕｓ //　LaVie　 /＿＿＿＿
　　 ＼/_/￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣/
　　 ＿ /ThinkPad //ＷinＢook//DynaBook//Ｌｉbretto // Presariｏ/
　　 ＼/_/￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣//￣￣￣￣/
　　 ＿ / Inｓpｉｒon //Endeavor//InterLink //　　Ｅvo　 //Let'sNote/
　　 ＼/＿＿＿＿//＿＿＿＿//＿＿＿＿//＿＿＿＿//＿＿＿＿/

[0004 以下、5ちゃんねるからVIPがお送りします 2023/08/09(水) 15:22:15.307 ID:oiIYutCUd]

まあ拙速というやつなんだけどな

[0005 以下、5ちゃんねるからVIPがお送りします 2023/08/09(水) 16:10:20.542 ID:r9xzJFptM]

chatGPTは、数十億のパラメータを持つ深層学習モデルで、大量のテキストデータから学習されています。このような大規模なモデルを高速に動作させるためには、専門的なハードウェアと最適化されたソフトウェアが必要です。

OpenAIは、GPUクラスターや専用のTPUなど、高性能な計算リソースを使用しています。これにより、並列処理と効率的な計算が可能になります。さらに、モデルの推論を高速化するための様々な最適化技術も採用されています。

個人が70bのモデルを動かす際に遅くなるのは、ハードウェアやソフトウェアの最適化が十分でないためかもしれません。専門的なリソースと技術が組み合わさることで、chatGPTのような高速な推論が実現されているのです。

最後に付け加えると、個人のコンピュータが低スペックであればあるほど、大規模なモデルの推論速度は遅くなります。chatGPTのような巨大なモデルを動かすには、超高性能なハードウェアが必要です。低スペックのマシンでは、まるでカメとウサギのレースのように、差は歴然として現れるでしょう！