責任者を決めても医療AIを保守できるとは限らない

医療AIに問題が起きたとき、誰に連絡すればよいのか。その窓口を決めることは重要である。しかし、連絡を受けた人が性能の変化を調べ、診療への影響を判断し、修正を依頼し、結果を確かめる時間を持っていなければ、担当者の名前だけが残る。責任の所在が明確であることと、責任を果たせることは同じではない。

今回は、導入後の医療AIの監視・維持管理を専門家21人への面接から調べたOwensらの研究を中心に読む。[1] 併せて、人と自動化システムの間で責任がどのように語られるかを検討したElishの概念論文を取り上げる。[2] 前者は保守の仕事が組織の中で実施されにくい条件を、後者は問題発生後の責任の捉え方を考える手掛かりになる。ただし、2本を並べたこと自体は、保守不足が特定の責任帰属を引き起こすという因果関係の証明にはならない。

本稿は公開研究の批判的論評である。医療AIの安全性を認証するものでも、ETIC 2.0の有効性を実証した研究でもない。本文では、参加者の語り、原著者の解釈、Unknown Labの提案を区別する。

30秒で分かる研究の要点

月曜の記事から、何を深めるのか

直前の設計・検証ノートでは、AIを訂正・停止したいという申し出を受けてから、誰が判断し、誰が操作し、停止後の支援を誰が引き受け、本人へどう返答するかを分けた。[3] これは、相談窓口があることを実際の訂正と取り違えないための整理である。

その整理には、なお見落とし得る条件がある。判断者と実行者が決まっていても、通常業務と兼務で作業時間が確保されないかもしれない。製品の更新後に確認が必要だと理解していても、検証用データを取り出せないかもしれない。担当者が異動したとき、過去の変更理由が引き継がれないことも考えられる。これらは本稿が想定する検討例であり、今回の面接で同じ事例が何件観察されたという意味ではない。

木曜の論評では、この「役割がある」と「仕事が続く」の違いを深める。窓口や記録様式を増やすことが目的ではない。既存の医療安全、情報システム、調達、品質管理の仕組みで必要な対応ができるなら、それを使う方がよい。追加の手続きを提案する側にも、増えた負担に見合う改善を説明する責任がある。

どのような研究を読んだのか

Owensらの論文は、2025年にBMC Health Services Researchへ掲載された質的研究である。研究課題は、医療AIを使い始めた後、その性能と影響を誰がどのように監視し、維持するのかという点にある。製品の精度を新しいデータセットで比較した研究でも、患者を介入群と対照群へ割り付けた試験でもない。[1]

この焦点には意味がある。開発時に十分な性能が得られても、運用中には対象患者、記録の仕方、機器、診療手順が変わり得る。監視とは、単に数値を表示することではなく、変化が重要かを判断し、必要な対応へつなげる仕事である。修正後には別の問題が生じていないかを確かめなければならない。著者らは、この継続的な仕事が技術開発に比べて目立ちにくい点を検討する。

保守や修復の重要性そのものを、この論文やETIC 2.0が初めて発見したわけではない。原著は既存の社会技術研究を踏まえ、専門家の経験を医療AIの運用へ接続している。本稿が評価する新しさは、保守の必要性という標語ではなく、誰の仕事になりにくいのか、どのような組織的な理由で後回しになるのかを具体的な語りから検討した点である。

もう1本のElishの論文は、2019年の概念的・解釈的研究である。既存の事故記録や報道を読み直すもので、今回新たに医療従事者を募集した調査ではない。[2] したがって、2本を同じ形式の「実証研究」として合算しない。面接で得られた経験の記述と、責任を考えるための概念は、それぞれ別の根拠として扱う。

対象21人は、どのように選ばれたのか

Owensらは、医療AIとその倫理・運用に関する知識を持つ人を目的に沿って選び、紹介によって対象者を広げた。無作為に選んだ病院の全職員へ尋ねた調査ではない。募集には個人的な接点や大学等の公開情報を用い、電子メールで依頼した。参加者は全員、何らかの形で学術研究に関与していた。[1]

補足資料のCOREQチェックリストによると、面接の実施期間は2023～2024年である。開始月と終了月は示されていない。面接はZoomを使い、参加者の自宅または職場から行われ、1回30～60分であった。音声と映像を記録し、フィールドノートを取り、専門の転記を経て分析した。反復面接は行っていない。[1, 補足資料1]

参加21人とは別に、未回答または参加を辞退した人が46人いた。面接を開始してから途中で離脱した人はいなかった。この46人を「研究途中の脱落」と呼んではならない。参加しなかった理由やその人たちの運用経験が十分分からないため、保守への関心が高い人ほど参加した可能性も、逆に問題に詳しい人が多く集まった可能性も残る。人数だけから偏りの方向は決められない。

表は原著Table 1と補足資料1を日本語で再整理したものである。原表の米国外2人の百分率は9.55%と記載されるが、2÷21は約9.5238%であり、小数第1位までの丸めという同表の注記に従えば9.5%となる。誤植と思われるため、本稿では人数を採用し、原表の値を黙って訂正した数値として引用しない。[1]

地域構成は主として米国であり、患者・家族という立場での募集枠は示されていない。これは、参加者に個人的な患者経験がないという意味ではない。しかし、保守担当者が感じる困難と、患者が訂正を求めた際に経験する困難を同一視することはできない。医療機関から独立した立場の声を、今後どのように取り込むかが残る。

語りから結論を導く方法

原著は、データと既存の理論を行き来するアブダクティブな分析を採用する。平たく言えば、面接で得た語りを分類するだけでなく、その語りをどう説明すればよいかを理論と照らして考え直す方法である。補足資料では、テーマは事前の考え方とデータの双方から生まれたと説明されている。「参加者が話した内容から、前提なしに結論が自然に現れた」という手続きではない。[1]

面接はOwensが主導し、著者3人が研究に関与した。符号化は2人の研究者が行い、ATLAS.ti 24を使用し、見解の不一致を協議した。著者らは、維持管理に関するテーマが飽和したと判断して募集を終えている。飽和とは、この研究の分析上、新しいテーマが加わりにくくなったという判断であり、医療AIの問題をすべて網羅した証明ではない。

分析の信頼性を考える際には、人数の大小だけでなく、解釈へ至る経路がどこまで追えるかを見る必要がある。複数の分析者による協議は有用だが、同意に至ったことだけで解釈が唯一になるわけではない。同じ語りを、意図的な優先順位の問題と読むか、担当部署間の調整不足と読むかで提案は変わる。理論に合わない事例をどのように扱ったかも重要である。

これらの手続きがないことだけを理由に、質的研究を無効と判断するのは適切ではない。例えば参加者が解釈に同意しても、それが正しさの最終判定にはならない。一方、「実施していないこと」を「確認済み」と読み替えることもできない。方法の報告を踏まえ、発言の存在と、その発言から導いた組織全体の説明との間に幅を残して読むべきである。

5つの結果から見える、導入後の仕事

以下の5項目は原著Resultsの節構成に沿った整理である。各テーマに何人が言及したかは報告されていないため、頻度順のランキングではない。また、同じ参加者が複数のテーマについて語り得る。5つを互いに独立した原因とみなすこともできない。[1]

1. 性能の変化は、導入時の検証だけでは捉えきれない

最初の論点はドリフトである。AIの学習時と運用時で、患者集団や診療環境などが変わり、予測の意味や性能が変化する問題を指す。参加者の語りには、機器や臨床の実務の変化も含まれる。ここから読み取れるのは、導入時の検証を一度終えれば管理が完了するわけではないという問題認識である。

ただし、原著は特定のAIを追跡して性能低下率を測定していない。「何年で何%低下する」といった値は得られない。Unknown Labの見方では、必要な監視の頻度も、一律に決める前に対象の変化と用途を調べるべきである。頻繁に確認するほど常に安全になるとは限らず、警告への対応能力や、その間の診療負担も含めて判断する必要がある。

2. 数値を見られることと、対応が続くことは異なる

監視の実務では、その場ごとの対応や、望ましい仕組みとしてのダッシュボードが語られる。ダッシュボードは状態の表示を助けるが、それを誰が読み、どの変化を問題と認め、どこへ修正を依頼するかという運用を自動的には作らない。原著の関心は、監視技術の有無だけでなく、それを仕事にする配置にある。

ここで区別すべきなのは、必要な情報を収集できない場合と、収集した情報が対応へつながらない場合である。前者には計測やデータ接続の改善が必要かもしれない。後者では、担当者の時間、決裁、委託先との契約が障害かもしれない。同じ「監視が不十分」という表現でも、解決すべき箇所が違う。原著の質的結果は、その区別を検討する入口にはなるが、各障害の割合を示してはいない。

3. 問題を知らないことは、単なる情報不足なのか

著者らは、組織が何を調べ、何を調べないかという選択を「戦略的無知」という観点から論じる。新しいAIの開発・導入が評価される一方、既に動いている仕組みの点検が優先されにくいという解釈である。保守の不足を、担当者個人の知識不足だけで説明しない点に意義がある。

この言葉は強い。読者が、組織による故意の隠蔽を監査で確認したと受け取れば、研究が示した範囲を超える。原著は専門家の語りを基に組織の選択を解釈したのであり、個別の経営判断の意図や、別の選択が可能だったかを独立に立証してはいない。単純な人員不足、技術的な難しさ、契約上の制約という説明が、どこまで残るかを併せて検討する必要がある。

4. 害が見えないのか、全体を見渡す人がいないのか

原著では、技術と臨床の知識が分かれ、既存の担当者が忙しく、AIの影響を継続して把握する役割が定まりにくい状況が論じられる。臨床家が最後の安全策とみなされる一方、組織全体の挙動を把握するために必要な情報と余力を持つとは限らない。人事異動で暗黙の知識が失われることも問題になる。

しかし、患者への害を見つけにくいという語りと、実際の害が増えたという観察は別である。本研究に患者転帰の測定はない。害が報告されない場合には、本当に問題が少ないのか、検出できないのか、報告経路が使いにくいのかという複数の可能性が残る。沈黙を安全の証拠にも、危険の証拠にも短絡させないことが重要である。

5. 修復する仕事は、評価されにくい場所にある

最後の結果節では、現場の工夫や修復作業の見えにくさが扱われる。著者らは他領域の保守・品質管理も手掛かりに、継続的な管理を組織化する可能性を論じる。ここでの工夫は、AI自体の改良に限らず、技術を働かせ続けるための地味な調整を含む。

原著には車の保守マニュアルを例とする発言があるが、導入文ではコンピュータ科学者、引用末尾では臨床情報学者と職種表示が一致していない。本稿では誤植の可能性を残し、この発言を特定職種の特徴として利用しない。こうした表示の不整合は、論文全体を否定する根拠にはならないが、誰が何を語ったかを精密に読む際には記録すべき点である。

著者らの結論

著者らの結論は、管理の不足を指摘するだけではない。公式の標準的な指針が十分でなくても、異なる立場の人が協働し、近接する領域の仕組みを参考にすることで、地域や組織の中から維持管理を作る可能性があると論じる。[1] この前向きな含意は重要である。ただし、現場の工夫があることと、その工夫の安全性・持続可能性が検証されたことは異なる。個人の善意に依存した対応を称賛するだけで終えず、仕事として支える必要があるというのが本稿の読みである。

責任を引き受ける人と、制御できる人は同じか

Elishが提示するmoral crumple zoneは、分散したシステムの中で制御が限られる人に、問題発生後の責任が偏る状況を捉える概念である。論文はスリーマイル島事故とエールフランス447便事故の既存の叙述を検討し、Therac-25を反例として扱う。すべての自動化で同じ帰属が起きるという主張ではなく、法的責任を確定する理論でもない。[2]

Unknown Labがこの概念を医療AIへ適用する際に重視するのは、責任という語を分解することである。導入前に役割を引き受けること、運用中に作業を実施すること、事後に説明を求められること、法的責任を負うことは別の問題である。これらを一つにまとめると、権限が小さい現場職員を不当に責める場合も、逆に正当な説明責任まで免除する場合も見分けられなくなる。

例えば、臨床家には患者への判断について説明が必要であっても、製品の内部更新を止める権限や、契約を変更する権限はないかもしれない。その場合、説明を求めること自体が不当なのではなく、調査の範囲を臨床家の判断だけに限定してよいかが問われる。これは本稿の適用上の論考であり、Elishが医療施設でそのような分布を測定したという意味ではない。

責任の偏りを疑うなら、役職名だけを比較しても不十分である。問題が判明する前に、誰が情報を持ち、何を変更でき、誰に対応を求め、その要請がどう扱われたかを時系列で確認する必要がある。後から結果を知った立場で、当時の担当者にも同じ判断が可能だったと仮定してはならない。同時に、「構造の問題」という説明によって、実際に可能だった対応を怠った事実を見えなくしてもならない。

2本を合わせても、因果の鎖は完成しない

Owensらが主に扱うのは、導入後の仕事の組織化である。Elishの概念は、事後の責任帰属を検討する視点を与える。両者をつなぐと、作業を十分に支えられない人へ責任だけが残るのではないかという仮説を立てられる。しかし、今回の2論文は同じ施設を追跡していない。保守不足が責任の集中を引き起こしたと実証した研究として紹介することはできない。

この仮説を調べるには、少なくとも運用前の役割・資源、実際の対応、問題発生後の調査や説明を対応づける必要がある。現場に責任が集中して見える場合でも、調査記録が最終段階しか公開していないだけかもしれない。逆に、組織全体の責任を明記した文書があっても、実際の負担が特定の人に集中する可能性がある。文書と仕事の実態を分けて観察することが要る。

費用、人員、継続可能性は何が分かるのか

原著から必要な保守担当者数や年間費用を計算することはできない。業務に必要な人数を常勤換算で測ったデータも、管理方法を変更した場合の費用対効果も報告されていない。したがって、「委員会を設ければ解決する」「専任者を1人置けば十分」といった数量的な勧告は導けない。[1]

それでも費用の問いを消してよいわけではない。Unknown Labの提案として、導入後に必要な仕事を、情報収集、問題の判定、修正依頼、再確認、利用者への返答に分けて考える。これらにどれだけ時間が必要か、その時間が通常勤務の中に含まれるか、既存業務を何か減らす必要があるかを確認する。無償の時間外対応に依存した仕組みを、低費用だから持続可能だと評価してはならない。

また、点検対象が増えると、問題の発見だけでなく、問題でなかった警告の確認も仕事になる。複雑な監視を導入した結果、本来必要な臨床業務が圧迫されるなら、管理の強化が別の負担を生む。安全上必要な対応を省略するための議論ではなく、確認の優先順位、停止条件、代替手段を設計するための議論である。

継続可能性には担当者の不在も含まれる。休暇、異動、退職、委託契約の終了時に、連絡先の更新だけで足りるのか。それとも、なぜその設定にしたかという判断の記録が必要か。少数の熟練者による工夫が機能していることと、別の人へ引き継げることは異なる。成果が維持できた期間だけでなく、引継ぎ後に何が変わったかを確かめる必要がある。

Unknown Labの批判的論評

語りは重要だが、施設の状態の代わりにはならない

専門家への面接は、公開された性能値だけでは分からない困難を表に出す。一方、参加者が関わった事例の範囲や、組織内で接する情報は均一ではない。ある人が把握していない監視を別部署が行っている場合もあり得る。語りを軽視してはならないが、語りだけで業務全体を再構成したと考えてもならない。次の研究では、面接と既存の保守記録、変更申請、作業時間などの対応を確認する必要がある。

戦略的無知と、実行能力の不足を区別したい

問題を知ることが組織に不都合である場合と、知りたくても技術・人員が不足する場合では、介入先が異なる。前者では評価制度や意思決定の透明性、後者では能力と資源の確保が重要かもしれない。両方が同時に存在する場合もある。「保守が十分でない」という一つの結果から動機を一意に推定せず、対応が提案された際の判断理由、利用可能だった資源、見送られた選択肢を調べるべきである。

うまく機能している運用との比較が必要である

困難の説明は、同じ制約下でも継続している仕組みとの比較によって精密になる。監視が組織化されている施設と、されていない施設では何が違うのか。AI以外の医療情報システムでは同じ問題がどこまで存在するのか。これを比較しなければ、AI固有の課題と、病院の保守業務一般の課題を取り違える可能性がある。原著のテーマを、そのままAI専用組織の必要性の根拠にしてはならない。

患者・家族の経験と、組織の管理のしやすさは一致しない

職員から見て対応が完了しても、患者は訂正結果を知らないかもしれない。内部の管理指標が改善しても、相談しにくさは変わらないかもしれない。本研究の専門家標本から、患者にとっての説明の十分さや異議申立てのしやすさを評価することはできない。患者・家族へ別途確認する際にも、何度も同じ説明をさせる負担や、声を上げない人が集計から外れる問題に注意が必要である。

責任を分散させること自体を目標にしない

責任の集中を避けようとして、全員が少しずつ関わる仕組みにすると、誰も最終的な対応を決めない状態が生じ得る。公平な分担と、意思決定者の不在は違う。必要なのは責任を薄めることではなく、決定権限、実行能力、説明する役割を対応させ、上位の判断へ戻す経路を保つことである。この対応関係が成立しているなら、最終判断者を明確にすることは、責任の不当な集中とは限らない。

日本への適用では、既存の仕組みを先に確かめる

厚生労働省の「医療情報システムの安全管理に関するガイドライン 第7.0版」の経営管理編は、経営資源、体制、委託先との関係などを扱っている。[4] したがって、日本に何の管理枠組みもないという前提で新しい表を導入するべきではない。ただし、この文書は医療情報システムの安全管理のためのものであり、あらゆる医療AIの臨床的妥当性や個別事故の法的責任を一括して判定するものではない。既存の規程で何が扱われ、何が扱われていないかを、用途ごとに確かめる必要がある。

この研究からETIC 2.0が学べること

考え方と重なる点

技術を単体で評価せず、人、組織、仕事、制度との関係で考えるという点はETIC 2.0の問題意識と重なる。今回の研究は、とりわけ導入後に続く仕事を見る必要を具体化する。ただし、問題意識が一致したことは、ETIC 2.0が他の方法より有効であるという証拠ではない。原著者らはETIC 2.0を比較・評価していない。

答えるべき問い

ETIC 2.0が関係者と責任を整理するとして、その整理によって何が以前より分かるのか。誰が未対応の仕事を発見し、どの判断が変わり、対応までの時間や本人の負担がどう変わるのか。図が詳しくなったことと、運用が改善したことは別である。既存の管理記録でも同じ問題を見つけられるなら、追加の整理が必要な理由を示さなければならない。

また、全員の役割が分かったとしても、追加の資源を配分できない場合に何を選ぶのかという問いが残る。新しい担当者の名前を記入するだけでは足りない。対象業務を限定する、導入を延期する、利用を止める、既存の支援へ戻すといった選択を、どの根拠で判断するかまで検討する必要がある。これらは今回の論文が効果を比較した選択肢ではなく、Unknown Labが今後検証すべき課題である。

具体的な見直し案

月曜の記事の役割整理に、担当者が実際に動ける条件を対応させる。ただし、新たなチェックリストの配布を先に決めない。既存の記録に以下の情報があり、必要な人が利用できるなら、その参照先を明確にするだけでよい。欠けている部分だけを補い、記録のための記録を増やさない。

表はUnknown Labの未検証の提案であり、原著の推奨項目を翻訳したものではない。すべての施設へ同じ期限や担当人数を要求する根拠もない。まず対象を限定して試し、既存の方法で不足する情報が得られるか、手順を増やした負担が許容されるかを確認する必要がある。

見直し案を、どのように検証するか

最初に確かめたいのは、書類が埋まるかではなく、実際の案件の流れを追えるかである。過去の匿名化された対応記録や、実在の患者情報を使わない仮想事例を用い、申し出から判断、実行、確認、返答までを既存の方法だけで追ってみる。情報が揃う場合に、同じ内容を別の表へ転記する必要はない。不足する場合には、その不足が単なる保存場所の問題か、仕事自体の未配分かを分ける。

次に、追加した情報によって判断が変わるかを確かめる。例えば、担当者の不在が分かって代替要員を決めた、契約外の修正だと分かって導入範囲を狭めた、といった具体的な変更である。これらは検証で記録する候補であり、今回すでに得られた改善結果ではない。判断が何も変わらなければ、その整理は説明用として役立っても、運用改善の道具としての追加価値は小さい可能性がある。

評価には所要時間と負担も含める。対応が早まった一方、別の職員へ見えない作業が移っただけかもしれない。申し出が増えた場合には、問題が増えたのか、声を届けやすくなったのかを区別しなければならない。完了件数だけを増やすと、難しい案件を除外する誘因にもなり得る。受付件数、未解決案件、対象外とした理由を一緒に読む必要がある。

本格的に効果を評価する段階では、単純な実施前後の比較だけでは不十分な場合がある。同時期の人員変更、製品更新、症例構成の変化が結果に影響するためである。可能なら比較可能な部署や導入時期の違いを用い、何を改善とみなすかを事前に定める。ただし、小規模な検討から直ちに患者安全への効果まで主張せず、まず実行可能性と業務への影響を確かめる。

何が確認できれば、この見直し案は弱まるのか

提案は、問題が見つかることだけで正当化してはならない。次のような結果なら、追加の枠組みを使う必要性を見直すべきである。

逆に、必要な役割と資源が揃っているのに対応が進まないなら、役割表の細分化を繰り返すだけでは足りない。判断の衝突、権限の行使へのためらい、異なる部署の目標など、別の説明を調べる必要がある。提案した道具で説明できない結果を、利用者の理解不足だけに帰してはならない。

次に読む論文

次に取り上げたいのは、HohensteinとJungの「AI as a moral crumple zone」である。[5] AIが提案する返信を含む会話実験では、うまくいかなかった会話について、AIの存在が相手の人間へ向けられる責任を軽減し得ることが報告された。人がAIの責任を引き受けるという方向だけでなく、その逆を考える材料になる。

ただし、これは学生による会話課題であり、医療事故や法的責任を調べた研究ではない。会話の結果は研究側で操作され、AI条件では責任の割当先にAIという選択肢が加わる。実際の制御の変化と、回答の選択肢の変化を分けて読む必要がある。今回の推薦理由は、「常に人へ責任が集中する」という万能な説明を避け、帰属が変わる条件を比較する点にある。

結論

責任者を指定することは必要になり得るが、その指定だけで医療AIの継続的な保守が成立するわけではない。Owensらの面接研究は、導入後の仕事が、技術だけでなく組織の優先順位と日常業務の配置に依存することを考える資料を提供する。一方、その語りから組織の意図、被害の頻度、対策の効果を直接確定することはできない。

Unknown Labが提案するのは、誰が責任者かを問うときに、その人が必要な情報、権限、時間、支援を持つかを併せて確かめることである。さらに、対応できなかったときに、理由が組織の判断へ戻るか、本人への返答が残るかを確認する。役割を詳しく記述したという成果と、実際に仕事が進んだという成果を分け、その追加価値がなければ仕組みを簡素化する。この検証まで含めて、責任を実行できる条件を考えたい。

参考文献

1. Owens K, Griffen Z, Damaraju L. Managing a “responsibility vacuum” in AI monitoring and governance in healthcare: a qualitative study. BMC Health Serv Res. 2025;25:1217. doi:10.1186/s12913-025-13388-z. 本文、Table 1、補足資料1（COREQ）、補足資料2（面接ガイド）を確認。
2. Elish MC. Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society. 2019;5:40–60. doi:10.17351/ests2019.260.
3. Morimoto D. AIを訂正・停止できるのは誰か. Unknown Lab 設計・検証ノート02. 2026. doi:10.5281/zenodo.22734208. サイト本文.
4. 厚生労働省. 医療情報システムの安全管理に関するガイドライン 第7.0版 経営管理編. 2026年6月. 公式PDF. 2026年9月16日確認。
5. Hohenstein J, Jung M. AI as a moral crumple zone: The effects of AI-mediated communication on attribution and trust. Computers in Human Behavior. 2020;106:106190. doi:10.1016/j.chb.2019.106190. 次に読む論文として、出版社要旨と著者公開原稿の方法・結果を確認。

本稿の自作文・独自の整理表・キービジュアルはCC BY 4.0で提供する。引用元の論文、補足資料、第三者資料の権利は各権利者に帰属し、本稿のライセンスで再許諾するものではない。原著の図版や全文翻訳は掲載していない。キービジュアルはAI生成による概念的なイラストであり、研究参加者や実在の医療現場を示さない。