OpenAIの主要モデルが捏造を続ける理由

OpenAI が新たにリリースした o3 と o4-mini は、これまでにリリースされた AI モデルの中でも最も賢いモデルのひとつですが、1 つの大きな問題を抱えているようです。

どちらのモデルも幻覚を起こしています。それ自体は異常なことではありません。ほとんどのAIモデルは依然としてこのような傾向にあります。しかし、この2つの新しいバージョンは、OpenAIの以前のモデルのいくつかよりも幻覚を起こしているようです。

歴史的に見て、ほとんどの新しいモデルは幻覚を起こし続けていますが、そのリスクは新しいモデルがリリースされるたびに減少しています。ここで潜在的により大きな問題は、OpenAIがなぜこのようなことが起こったのかを把握していないことです。

幻覚とは何ですか?

AIモデルを使ったことがあるなら、幻覚を見るのを目にしたことがあるでしょう。これは、モデルが誤った結果、あるいは誤解を招くような結果を出すことです。つまり、統計データが不正確だったり、画像のプロンプトを間違えたり、あるいは単にプロンプ​​トを間違えたりしてしまう可能性があります。

これは些細で、重要ではない問題です。例えば、チャットボットに「b」で始まる単語のみを使って「tree」という単語を含む詩を作るように指示した場合、それは幻覚と言えるでしょう。ただし、その危険性は比較的低いでしょう。

しかし、チャットボットにグルテン不耐症の人にとって安全な食品のリストを尋ね、ロールパンを提案した場合、それはある程度のリスクを伴う幻覚となります。

これは o3 および o4-mini モデルにとって何を意味しますか?

OpenAI のこれら 2 つのモデルに関する技術レポートでは、AI モデルの幻覚率を評価する PersonQA において、両モデルともパフォーマンスが期待どおりではなかったと説明されています。

「これは予想通りです。なぜなら、小さなモデルは世界に関する知識が少なく、幻覚を起こす傾向が強いからです。しかし、o1とo3を比較すると、パフォーマンスに若干の違いがあることも確認されました」と報告書は述べています。

「具体的には、o3は全体的に多くの主張をする傾向があり、より正確な主張だけでなく、不正確/幻覚的な主張も増えています。この結果の原因を理解するには、さらなる研究が必要です。」

OpenAIの報告によると、o3は質問の33%に対して幻覚反応を示した。これは、OpenAIの従来の推論モデルの幻覚反応率の約2倍に相当します。

どちらのモデルもまだ比較的新しいもので、既に公開されているため、テストが進むにつれて幻覚発生率が大幅に改善される可能性があります。しかし、どちらのモデルもより複雑なタスク向けに設計されているため、今後は問題が生じる可能性があります。

前述のように、幻覚は重要でないプロンプトでは奇妙な現象となることがあります。しかし、推論モデル（より複雑なタスクを実行するように設計されたAI）は通常、より重要な情報を処理します。

これが OpenAI の将来の推論モデルでも継続するパターンである場合、特に o3 と o4-mini の使用に多額の費用をかけたいと考えている大企業にとっては、売り込みが難しくなる可能性があります。

Tom's Guideのその他の記事

• 私は毎日Geminiを使っています。これが私にとって欠かせない7つのプロンプトです。
• おそらく知らないChatGPTの生産性向上ハック7選
• ジェミニのテストで生計を立てている私 — もっと早く知っておきたかった5つのヒント