「専用AI」の上乗せは、何と比べて確かめるのか: 製品の比較と、仕組みの効果を分ける

概要（公開サイト版）

Vishwanathらの臨床AI製品比較とDuboisらのLength-Controlled AlpacaEvalを批判的に検討する。医療論文の500問ずつの公開ベンチマーク、100の医師質問、12評価者、拒否除外後568回答を区別し、製品間の得点差を専門化の因果効果へ拡張しない。長さ調整では勝率の変動低下と人間の順位との相関上昇を、不確実性、原著本文と表の記載差、調整の仮定とともに検討する。製品を通常の形で比べる評価と、同じ基礎モデル・情報・資源で追加要素を検証する評価を分離し、十分な一般的構造化対照、回答拒否、重大失敗、長さの感度分析を含む未検証の設計案と反証条件を示す。

引用情報

Morimoto D. 「専用AI」の上乗せは、何と比べて確かめるのか: 製品の比較と、仕組みの効果を分ける. Unknown Lab; 2026. Version 1.0. doi:10.5281/zenodo.23353130.

文書種別

論評記事（先行研究の批判的解説）・未査読

DOI

10.5281/zenodo.23353130

ORCID

0009-0009-6444-750X

ライセンス

CC BY 4.0

著者の本文・独自表・生成イラストに適用。引用元資料の権利は各権利者に帰属する。