医師や病院で広く使用されているオープンAI文字起こしツールが懸念を呼ぶ
スカイ・ジェイコブス 10月28日午前8時
顔面を手で覆う: 生成 AI が幻覚を起こしやすいことは周知の事実ですが、こうしたツールが医療現場に導入されるにつれ、警鐘が鳴り始めています。OpenAI でさえ、リスクの高い環境では転写ツールを使用しないよう警告しています。
OpenAI の AI 搭載文字起こしツール Whisper は、幻覚と呼ばれる捏造されたテキストを生成する傾向があるという重大な欠陥で非難を浴びている。同社は「人間レベルの堅牢性と正確性」を主張しているが、 AP 通信がインタビューした専門家は 、Whisper が文章全体を捏造したり、文字起こしに存在しない内容を追加したりする例を多数特定している。
Whisper がさまざまな業界で広く使用されていることを考えると、この問題は特に懸念されます。このツールは、インタビューの翻訳や文字起こし、消費者向けテクノロジーのテキスト生成、ビデオの字幕作成に使用されています。
おそらく最も憂慮すべきなのは、OpenAI が「高リスク領域」でのツールの使用に対して明確な警告を発しているにもかかわらず、医療センターが患者の診察内容を書き起こすために Whisper ベースのツールを急いで導入していることである。
その代わりに、医療分野ではWhisperベースのツールが採用されている。フランスと米国にオフィスを構えるNabla社は、ミネソタ州のマンケート・クリニックやロサンゼルス小児病院など、3万人以上の臨床医と40の医療システムで使用されているWhisperベースのツールを開発している。
ナブラの最高技術責任者マーティン・レイソン氏は、同社のツールは医療用語を微調整して患者とのやり取りを書き起こし、要約するようになっていると述べた。しかし、同社は「データ安全上の理由」で元の音声を消去しており、AIが生成した書き起こしと元の録音を比較することは不可能となっている。
ナブラ社によれば、これまでにこのツールは推定700万件の医療訪問の記録を書き起こすために使用されている。
医療現場での AI 文字起こしツールの使用もプライバシーに関する懸念を引き起こしている。カリフォルニア州議員のレベッカ・バウアー・カハン氏は、子供の医師が Microsoft Azure などのベンダーと診察音声を共有することを許可する書類への署名を拒否した経験について語った。「このリリースでは、営利企業にこの権利があると明確に書かれていました」と彼女は AP 通信に語った。「私は『絶対にだめ』と言いました」
Whisper の幻覚問題がどの程度まで及ぶかは完全にはわかっていないが、研究者やエンジニアは仕事の中でこの問題が数多く報告されている。ミシガン大学の研究者は、調査した公開会議の書き起こしの 80% で幻覚を確認した。機械学習エンジニアは、分析した 100 時間を超える Whisper 書き起こしの約半分で幻覚に遭遇し、別の開発者は、このツールを使用して作成された 26,000 件の書き起こしのほぼすべてで幻覚を発見した。
コーネル大学のアリソン・コーネケ教授とバージニア大学のモナ・スローン助教授が行った研究では、何千もの短い音声断片を調べたところ、話者の誤解や誤った表現の可能性があるため、幻覚の約40パーセントが有害または懸念されることが判明した。
こうした幻覚の例としては、元の音声には存在しない暴力的な内容を追加したり、元のスピーチには存在しない人種的なコメントをでっち上げたり、存在しない医療処置を作り上げたりすることなどが挙げられます。
ある例では、ウィスパーは、少年が傘を持っていくという単純な文章を、十字架とナイフが登場する暴力的なシナリオに変えてしまった。別の例では、このツールは人々に関する中立的な文章に人種的な説明文を追加した。ウィスパーはまた、その書き起こしの 1 つで「過剰活性化抗生物質」という架空の薬をでっち上げた。
こうしたミスは、特に病院の現場では「非常に深刻な結果」を招く可能性があると、昨年までバイデン政権でホワイトハウス科学技術政策局を率いていたアロンドラ・ネルソン氏は述べた。「誰も誤診を望んでいません」と、ニュージャージー州プリンストン高等研究所の教授であるネルソン氏は述べた。「もっと高い基準を設けるべきです」
Whisper の影響は OpenAI をはるかに超えています。このツールは ChatGPT の一部のバージョンに統合されており、Oracle および Microsoft のクラウド コンピューティング プラットフォームの組み込みサービスとして提供されています。わずか 1 か月で、Whisper の最新バージョンは、オープンソース AI プラットフォーム HuggingFace から 420 万回以上ダウンロードされました。
批評家たちは、OpenAI は直ちにこの欠陥に対処する必要があると述べている。「同社が優先的に対処するつもりなら、これは解決できそうだ」と、同社の方向性に対する懸念から 2 月に同社を去った元 OpenAI エンジニアのウィリアム・サンダース氏は述べた。
「これを世に出すと、人々がその可能性に自信過剰になり、他のあらゆるシステムに統合してしまうと問題になります。」
TechSpotで発見
