AIの提案を人はなぜ信じすぎるのか

結論を先に

1. 正しいAIは助けになりますが、誤ったAIは専門職も誤答側へ動かします。
2. 説明を付けるだけでは、誤った提案への依存を十分に防げません。
3. 「人が最後に確認する」は必要ですが、それだけでは安全策として不十分です。
4. AIを見る前の独立評価、相違点の照合、保留、相談、監査を組み合わせる必要があります。
5. 作業療法・リハビリテーションでの直接的な検証は、まだ不足しています。

自動化バイアスとは何か

自動化バイアスとは、自動化された提案を判断の近道として使い、他の情報より優先してしまう傾向です。誤ったAIの提案を採用するコミッションエラーと、AIが示さなかった異常や選択肢を見落とすオミッションエラーとして現れます[1][2]。

これは「AIを信じやすい性格」だけでは説明できません。13,821件から74研究を採用した系統的レビューでは、課題経験、AIへの信頼、作業負荷、課題の複雑さ、時間制約などが自動化バイアスに関係していました[3]。忙しい環境で、もっともらしい答えが先に示され、その正誤を確かめるのに多くの情報処理が必要なとき、AIは判断の近道として使われやすくなります。

反対方向には、AIが人間より良い成績を示していても、AIの失敗を見た後に利用を避けるアルゴリズム回避があります[15]。目標はAIへの信頼を最大化することではなく、AIが当たりやすい条件と外しやすい条件に合わせて依存度を変えることです。

方法

2026年7月11日までに公開された文献を対象に、PubMed、PMC、Crossref、出版社ページ、WHO公式資料を探索しました。検索概念には、automation bias、clinical decision support overreliance、verification complexity、explainable AI clinician trust、trust calibration、cognitive forcing、human oversightを用いました。

最終的に本文で使用した主要資料は15件です。基礎・概念研究3件、系統的レビュー3件、臨床家を対象とした実験・準実験6件、非臨床の介入実験1件、臨床論説1件、国際機関のガイダンス1件で構成されます。本稿は網羅的な系統的レビューではなく、正式なGRADE評価も行っていません。

正しいAIと誤ったAIは、同じシステムの中に存在する

皮膚がん画像の研究では、質の高いAI支援は診断成績を改善し、経験の浅い臨床家ほど利益が大きくなりました。一方、誤ったAIは専門家を含む幅広い臨床家を誤らせました[5]。

日本の医師22人が16症例を判断した研究では、AI鑑別診断リストの有無で全体の診断正確性に有意差はありませんでした（57.4%対56.3%、p=0.91）。ただし、AIリストを使った判断には、オミッションエラー15.9%、コミッションエラー14.8%が含まれていました[7]。

入院患者の診断を扱った457人の臨床家の実験では、標準AIは診断正確性を2.9ポイント改善し、説明を付けた場合は4.4ポイント改善しました。これに対し、系統的に偏ったAIは正確性を11.3ポイント低下させ、説明を付けても9.1ポイント低下しました[9]。

前十字靱帯損傷のMRI画像を用いた研究では、AI支援によって正確性は87.2%から96.4%へ改善しました。しかし、AI支援後に残った誤りの45.5%は自動化バイアスと関連していました[11]。AIの平均的な有用性と、誤答時の危険は同時に存在します。

なぜ説明だけでは足りないのか

AIの結論に説明を付ければ、人が誤りを見抜けるという考えは直感的です。しかし、抗うつ薬選択の研究では、AI推奨は臨床家の独立判断より全体の選択正確性を改善せず、誤った推奨に理解しやすい特徴説明が付いた条件では正確性が低下しました[8]。

説明可能AIと臨床家の信頼に関する系統的レビューでは、説明が信頼を上げた研究、変えなかった研究、説明の質によって信頼が上下した研究が混在していました[12]。分かりやすい説明は、正しい説明や安全な判断を自動的には保証しません。

人間を最終判断者に置くだけでは足りない

AIが補助的な位置づけであっても、自動化バイアスを通じて臨床判断へ害を与える可能性があります。このため、AI単体の精度だけでなく、臨床家と組み合わせた人間-AIチームとして結果を評価する必要があります[10]。

890件から40研究を採用したレビューでは、医療研究は6件に限られていましたが、単一課題でも正誤確認が複雑な場合に自動化バイアスが生じることが示唆されました[4]。責任の強調、性能情報、手作業訓練、失敗例の提示などは、効果がないか限定的でした。確認作業そのものの負荷を下げなければ、人間による監督は形式化しやすくなります。

日本の医師20人を対象とした準実験では、「最終診断がAIの鑑別リストに含まれるか」を確認させても、診断正確性は有意に改善しませんでした（41.5%対46%、p=0.27）。AIを適切に信頼または拒否できた割合は61.5%で、AIの正確性を実際より約30%高く見積もりました[13]。

確認可能な協働へ

非臨床実験では、AIの説明を利用者に検討させる認知的強制が、単純な説明表示より過度な依存を減らしました。ただし、安全性を高めた設計ほど主観的な使いやすさの評価が低いというトレードオフもありました[6]。

前十字靱帯損傷の研究では、人を誤らせる可能性が高いAI出力を提示しない戦略により、自動化バイアスを41.7%減らせると推定されました[11]。ただし、これは実装後の前向き試験ではなく、既存データによるシミュレーションです。

作業療法とETIC 2.0への含意

今回確認した臨床研究の多くは、診断、画像、薬剤選択、症例シナリオを扱っていました。作業療法士、本人、家族を含み、長期的な作業参加や生活の質を主要アウトカムとした自動化バイアス研究は、今回の探索ではほとんど確認できませんでした。以下は既存研究から導かれる設計上の推論であり、ETIC 2.0自体の有効性を示す直接証拠ではありません。

人間責任を、責任者の名前だけにしない

AIとは独立した見立てを形成できる情報と時間、AIの提案を拒否、修正、保留できる権限、他職種へ相談できる経路が必要です。「人間責任の保持」は、責任を実行できる条件の設計として具体化する必要があります。

説明可能性を、照合可能性へ広げる

生活支援では、AIの推論過程だけでなく、その提案が本人の目標、生活史、住環境、家族負担、地域資源と整合しているかを確認します。AIの結論、観察事実、欠けている情報、適用外条件、反証を同じ画面または話し合いに置くことが重要です。

ケア生態系として監査する

画面上でAIの結論が最も目立つ、確認時間がない、異議を述べる担当者がいない、AIを使わない選択肢がない、誤りを記録できないといった条件が過度な依存を生みます。ETIC 2.0では、AIの採用率だけでなく、修正率、却下率、保留率、誤誘導、利用者集団ごとの差を継続的に確認します。これはWHOが示す人間の自律、透明性、責任、公平性の原則とも整合します[14]。

限界

• 本稿は対象限定レビューであり、網羅的な系統的レビューではありません。
• 多くの研究は短時間の症例・画像実験で、実際の患者・生活アウトカムを測っていません。
• 医師と診断課題への偏りがあり、作業療法、ケア職、本人、家族への一般化には不確実性があります。
• 従来型の意思決定支援と生成AIでは挙動が異なり、LLM固有のリスクを直接証明したものではありません。
• 複数の対策を組み合わせた実装効果は確立していません。

結論

医療・ケアにおけるAIへの過度な依存は、認知負荷、時間圧、AIの信頼性、説明の見せ方、確認の難しさ、業務環境、組織ルールが組み合わさって生じます。説明を付け、人間に最終責任を残すだけでは十分ではありません。

必要なのは、AIを見る前の独立評価、重要情報の並列表示、具体的な反証確認、低信頼出力の保留、採用・修正・却下・保留の監査を組み合わせた確認可能な協働です。作業療法とETIC 2.0にとっては、本人の意味ある作業と参加を中心に、人、AI、データ、環境、制度の関係を設計し、その結果を生活アウトカムで検証することが次の研究課題です。

研究倫理・利益相反・AI利用

• 公開済み文献を対象とし、個人を対象とする研究は実施していません。
• 開示すべき利益相反はありません。
• 文献探索、情報整理、書誌確認、文章作成、編集に生成AIを使用しました。著者が内容を確認し、最終的な責任を負います。
• 本報告書は未査読です。

参考文献

1. Parasuraman R, Riley V. Humans and automation: use, misuse, disuse, abuse. Human Factors. 1997;39(2):230-253. doi:10.1518/001872097778543886
2. Skitka LJ, Mosier KL, Burdick M. Does automation bias decision-making? Int J Hum Comput Stud. 1999;51(5):991-1006. doi:10.1006/ijhc.1999.0252
3. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-127. doi:10.1136/amiajnl-2011-000089
4. Lyell D, Coiera E. Automation bias and verification complexity: a systematic review. J Am Med Inform Assoc. 2017;24(2):423-431. doi:10.1093/jamia/ocw105
5. Tschandl P, Rinner C, Apalla Z, et al. Human-computer collaboration for skin cancer recognition. Nat Med. 2020;26(8):1229-1234. doi:10.1038/s41591-020-0942-0
6. Buçinca Z, Malaya MB, Gajos KZ. To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proc ACM Hum-Comput Interact. 2021;5(CSCW1):Article 188. doi:10.1145/3449287
7. Harada Y, Katsukura S, Kawamura R, Shimizu T. Efficacy of artificial-intelligence-driven differential-diagnosis list on the diagnostic accuracy of physicians. Int J Environ Res Public Health. 2021;18(4):2086. doi:10.3390/ijerph18042086
8. Jacobs M, Pradier MF, McCoy TH Jr, et al. How machine-learning recommendations influence clinician treatment selections. Transl Psychiatry. 2021;11(1):108. doi:10.1038/s41398-021-01224-x
9. Jabbour S, Fouhey D, Shepard S, et al. Measuring the impact of AI in the diagnosis of hospitalized patients. JAMA. 2023;330(23):2275-2284. doi:10.1001/jama.2023.22295
10. Khera R, Simon MA, Ross JS. Automation bias and assistive AI. JAMA. 2023;330(23):2255-2257. doi:10.1001/jama.2023.22557
11. Wang DY, Ding J, Sun AL, et al. Artificial intelligence suppression as a strategy to mitigate artificial intelligence automation bias. J Am Med Inform Assoc. 2023;30(10):1684-1692. doi:10.1093/jamia/ocad118
12. Rosenbacke R, Melhus Å, McKee M, Stuckler D. How explainable artificial intelligence can increase or decrease clinicians' trust in AI applications in health care. JMIR AI. 2024;3:e53207. doi:10.2196/53207
13. Sakamoto T, Harada Y, Shimizu T. Facilitating trust calibration in artificial intelligence-driven diagnostic decision support systems. JMIR Form Res. 2024;8:e58666. doi:10.2196/58666
14. World Health Organization. Ethics and governance of artificial intelligence for health: WHO guidance. Geneva: WHO; 2021. Official publication
15. Dietvorst BJ, Simmons JP, Massey C. Algorithm aversion: people erroneously avoid algorithms after seeing them err. J Exp Psychol Gen. 2015;144(1):114-126. doi:10.1037/xge0000033

関連ページ

• ETIC 2.0とは何か
• ケア生態系とは何か
• なぜAI時代に新しいケアモデルが必要なのか