0001以下、5ちゃんねるからVIPがお送りします
2023/07/26(水) 07:45:20.747ID:uPQ0icAdaFOXhttps://gigazine.net/news/20230724-chatgpts-accuracy-declined-math/
2023年の半ばから、AIユーザーの間でChatGPTの回答の質が低下していることが話題に上がるようになりました。例えば、ソーシャルニュースサイトのHacker Newsでは「AIサーチエンジンのPhindのGPT-4が、同じくGPT-4を利用したChatGPTよりも優れた結果を出してくれました。両方のGPT-4の速度の違いは体感できるほどで、Phindの方が遅い代わりに正確でした」との指摘が2023年5月に投稿されています。
スタンフォード大学の研究チームは、プレプリントサーバー・arXivで公開した論文の中で、2023年3月と6月の2回に分けて、GPT-3.5とGPT-4の2つのモデルに「数学の問題」「コード生成」「視覚的推論」「センシティブな質問」の4つのタスクを与え、その回答の早さや正確さを分析する研究を行いました。その結果、「17077は素数ですか？」という単純な質問に対するGPT-4の回答の精度が97.6％から2.4％へと低下していることがわかりました。
対照的に、GPT-3.5の精度は向上しており、3月には7.4％だった精度が6月には86.8％に改善していました。
