未公開モデルが書いた論文722本
OpenAIは10月6日（米国時間）、まだ公開していない最先端モデルが出した数学の成果を、722本の論文（関連するものをまとめて372の結果群）としてGitHubで公開しました。成果の伝え方を助言する数学者のグループ「AGMAI」によると、長年の未解決問題「数百件」の解決が含まれるとしています。
OpenAIは9月の時点で、このモデルが「数学のほとんどの分野で、100件を超える長年の未解決問題を解いた」と説明していました。今回の公開では、モデルの推論の要約や、使った計算量の目安、取り組んだ問題の数なども示されています。成果1件あたりの計算量は、平均でChatGPT Proの約3時間分の思考に相当するとしています。
扱う分野は幅広い
対象は組合せ論、幾何学、数論、理論計算機科学、代数、トポロジー、確率論、数理物理など多岐にわたります。量が多すぎるため、OpenAIはリポジトリの読み方の案内まで公開しました。
どこまで確かめられているのか
OpenAIは、成果は「検証の段階がそれぞれ異なる」と認めています。コンピューターで証明を確かめられる言語「Lean」で形式化されたのは、719本のうち主な成果300件、約42%にとどまります。10月8日時点で十数本の論文が修正され、符号の誤りで議論が成り立たなくなった3本が取り下げられました（公開当初の722本から719本に）。
AGMAIの提言
AGMAIは9月下旬に最初の提言を出し、AI企業に対して、成果はなるべく早く学術の正規のルートで公開すること、使ったモデル名・プロンプト・計算コストを開示すること、数学の成果をモデルの宣伝に使わないことを求めました。OpenAIは今回、論文の改訂や引用の手順を定めたうえでGitHubで公開したと説明し、今後は引用や説明のしかたも改善するとしています。
まとめ
成果の影響がはっきりするのは、数学者が内容を確かめ終えてからです。AI企業が成果を出すスピードに対して、それを確かめる側の手が足りていないことが、あらためて浮き彫りになりました。
出典：The Verge「OpenAI drops another batch of mathematical breakthroughs」、The Verge「’Pure insanity’: Mathematicians will need years to make sense of OpenAI’s latest drop」
コメント