「AIに聞いたほうが、答えは間違えるのに自信は増す」──直感に反するこの現象を、対照実験で定量化したプレプリントが出ました。正答率は27%から9%へ、ほぼ3分の1に落ち、確信度は30%から76%へ倍増し、「分からない」と答える割合は44%から3%へ崩落しています。
何が起きたのか
Chiara Marcoccia(École Normale Supérieure)、Walter Quattrociocchi(サピエンツァ大学ローマ)、Valerio Capraro(ミラノ・ビコッカ大学)の3名が、AI助言が人の判断に与える影響を調べた研究を arXiv にプレプリントとして公開しました（The Next Web 2026-07-19）。実験は5本（うち4本が事前登録、1本が直接追試）で、参加者は合計3,132人です（The Register 2026-07-19）。
参加者は難問に答えるか、あるいは「答えない(分からない)」を選べます。AIなしのグループと、AI助言にアクセスできるグループを比較した結果は次のとおりでした（The Next Web 2026-07-19）。
| 指標 | AIなし | AIあり |
|---|---|---|
| 正答率 | 27% | 9% |
| 確信度 | 30% | 76% |
| 「分からない」割合 | 44% | 3% |
正答率は約3分の1に下がり、確信度はおよそ2倍になり、判断を保留する態度はほぼ消えました。Capraro氏はこの逆転を「基本的に人々ははるかに悪くなった――正答率は3分の1だが、自信は2倍だった」と表現しています（The Register 2026-07-19）。
なぜ「AIへの合理的委任」では説明できないのか
ここで重要なのは、実験の設計です。研究者は、AIがそもそも間違える問題をわざと選んでいます。題材は映画の視覚的な細部で、報道では「『ベッカムに恋して(Bend It Like Beckham)』のチームのユニフォームの色」といった問いが例に挙がっています（The Next Web 2026-07-19）。報道では、こうした問いで通常は誤答するモデルとして Step 3.5 Flash が使われたとされています（The Next Web 2026-07-19、The Register 2026-07-19）。
この設計が効いてくるのは、「AIに従うほど正答率が上がる」という当たり前の因果を切り離せるからです。信頼できるツールに作業を任せて成果が上がるなら、それは合理的な委任(rational delegation)です。ところがこの実験ではAIが間違える問いに限定しているため、AI助言に従うほど不正解が増える構造になっています。にもかかわらず参加者はより多く答え、より自信を持ち、判断保留をやめました。つまり観測された行動変化は「助言が正しかったから任せた」では説明できません。
さらに、この崩れ方は、参加者が助言を自分から求めた場合でも、単に画面に表示されただけの場合でも起きたと報告されています（The Next Web 2026-07-19）。助言を「取りに行く」動機の有無すら、結果を分けなかったわけです。
確信度と正答率の「ズレ」を数式で見る
この研究が示したのは、正答率が下がったこと以上に、正答率と確信度の乖離が広がったことです。確信度の平均を $\bar{c}$、正答率を $a$ とすると、両者のズレ(過信の度合い)は
$$ G = \bar{c} - a $$と書けます。理想的に較正(キャリブレーション)された判断では、自信の平均と実際の正答率が一致し $G \approx 0$ になります。
報告値を当てはめると、AIなしの条件では
$$ G_{\text{なし}} = 0.30 - 0.27 = 0.03 $$とほぼ較正が取れています。一方、AIありの条件では
$$ G_{\text{あり}} = 0.76 - 0.09 = 0.67 $$と、ズレが一気に約22倍に開きます。AIは正答率を下げただけでなく、「自分がどれだけ正しいか」を見積もる能力そのものを狂わせた、と読めます。実務でこわいのは正答率の低下より、この $G$ の拡大のほうです。自分の誤りに気づく手がかりを失うからです。
お金を積んでも半分しか戻らない
では、正確さに報酬を、誤りに罰金を設定すればどうなるか。研究者は金銭的インセンティブを与える条件も試しました。すると参加者はAI助言を求める・従う頻度を下げ、正答率と判断保留はいくらか回復しました（The Register 2026-07-19）。
ただし戻り幅は限定的です。正答率は9%から16%へ、「分からない」は3%から8%へ上がったものの、いずれもAIなしのベースライン(27%、44%)には遠く及びませんでした（The Next Web 2026-07-19）。金銭で注意を促しても、失われた慎重さの半分程度しか取り戻せない、という結果です。
Capraro氏は、「分からない」と言える能力を「自分の知識の限界を認識すること」だと位置づけ、特に子どもへの影響を懸念しています（The Next Web 2026-07-19）。
実務でAIを使う人が持ち帰るべきこと
この結果は、映画クイズという特殊な題材で得られたものですが、AIを日常的に使うエンジニアやビジネスパーソンにそのまま刺さる論点を含んでいます。
第一に、AIの回答が手元にあるだけで、自分の「分からない」を口にしにくくなるという点です。判断保留が44%から3%へ崩れたのは、AIが正しかったからではなく、AIの回答という「それらしい根拠」が目の前にあったからでした。コードレビューや設計判断で、AIの出力に引きずられて「たぶんこれで合っている」と押し切っていないか、という自問の材料になります。
第二に、危険なのは正答率の低下そのものより、確信度とのズレ($G$)の拡大です。実務で自分の較正を保つには、AIの出力を「検証すべき仮説」として扱い、一次情報・テスト・実行結果で裏を取る習慣が要ります。この研究の設計自体が、「AIが自信満々に間違える」状況を人工的に作ったものだと理解しておくと、同じ罠を現場で見抜きやすくなります。
第三に、金銭インセンティブでも半分しか戻らなかった事実は、「気をつけよう」という意識づけだけでは不十分なことを示唆します。回答の根拠を明示させる、確信度を自己申告させてから検証する、といった手順をワークフローに組み込むほうが現実的です。
残された不確実性
- 一次情報はプレプリント段階です。5本の実験のうち4本が事前登録・1本が直接追試ですが、査読前のプレプリントです。数値・結論は今後変わりうる前提で読むべきです。
- 使用モデルはStepFun社のStep 3.5 Flashです。The Next Web・The Register とも表記は「Step 3.5 Flash」で一致しており、その問いで通常は誤答する軽量モデルを意図的に選んだと報じています（The Next Web 2026-07-19、The Register 2026-07-19）。「その問いで通常は誤答する軽量モデル」を意図的に選んだ、という設計上の役割がこのモデル選定の要点です。
- 題材の一般化には留保が必要です。研究者は結果が領域を越えて一般化すると主張していますが、映画の視覚的細部という限定的なタスクで得られた知見です。専門業務での再現性は別途検証が要ります。
- 本稿の確信度・正答率は各グループの平均値であり、個人差や問題ごとのばらつきはこの要約からは読み取れません。
まとめ
AIに助言を求めると、正答率は27%から9%へ落ちるのに、確信度は30%から76%へ上がり、「分からない」と言える割合は44%から3%へ崩れる──Marcoccia・Quattrociocchi・Capraro のプレプリント(arXiv:2607.13562、2026-07-15投稿)は、3,132人・5実験でこの逆説を定量化しました。しかもAIが間違える問いに限定した設計なので、「正しい助言に従った結果」では説明がつきません。金銭インセンティブを積んでも回復は半分どまりです。実務での含意はシンプルで、AIの出力は答えではなく検証対象の仮説として扱い、自分の「分からない」を手放さないことに尽きます。
主要出典
- AI advice made people three times less accurate but twice as confident, researchers found — The Next Web, 2026-07-19 — Capraro / Marcoccia / Quattrociocchi のプレプリントを報じた記事。正答率27%→9%、確信度30%→76%、「分からない」44%→3%、インセンティブ下で16%/8%止まりという主要数値の出典。
- Using AI makes people less likely to admit they don’t know something — The Register, 2026-07-19 — 5実験・3,132人という規模、助言が「求めても表示されても」同様に効いた点、Capraro氏の直接コメントを裏付ける独立報道。
- arXiv プレプリント(arXiv:2607.13562、2026-07-15投稿) — 一次情報。要旨では5実験・N = 3,132・4本が事前登録・1本が直接追試・AI助言へのアクセスが判断保留を大きく減らしたことが確認できます。
関連する過去記事
- LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好 — AIの出力に潜むバイアスを対照実験で定量化した、同じ系統の研究。
- 「disregard」と検索するとGoogleが黙る──AI検索が命令とデータを区別できない構造的弱点 — AIの出力を鵜呑みにすることの危うさを、検索という別の切り口から扱った記事。