CQディープサーチの要約内容に関する不具合と改善対応について

平素よりCQ ディープサーチをご利用いただき、誠にありがとうございます。

このたび、CQ ディープサーチにおいて提供された一部リンクの要約内容に、実際の論文とは異なる情報(いわゆる「ハルシネーション」)が含まれていた事象が確認されました。尚、本事象は主に3月中旬以降から確認されていると考えられます。

ご利用いただいた皆様には混乱とご不便をおかけしましたこと、心よりお詫び申し上げます。


■ 原因

本件の原因について調査を行った結果、Jina AIが取得したリンク情報そのものは正確であった一方で、
その後続の段階における大規模言語モデル(LLM:claude-3.7-sonnet)による要約処理において、以下の要因により誤った内容が生成されていたことが判明いたしました:

  • 要約対象のテキストにHTMLタグやコードブロックが含まれており、LLMによる適切な処理が困難だったこと
  • プロンプトの構造および、モデルの特性(情報が不十分な状態でも内容を補完しようとする傾向)

なお、Jina AIが取得したリンクは、いずれも適切な情報を収集しており、誤りは途中の要約処理フェーズ(1ノード)に大きく起因しております。


■ 対応・改善策

今回の問題を受け、以下の対応を実施いたしました:

  • LLMによる二次要約を簡略化し、Jina AIが取得した情報を忠実に提示する形式に変更
  • jina AIの約20件の取得リンクに対し、「タイトル」「著者」「ジャーナル名」などの基本情報が存在する場合は、必ず明示的に表示するよう仕様を改善
  • 最終的な統合要約についても、上記の改善を反映した情報に基づき、LLMが誤りなく生成するよう再構成

今後もCQ ディープサーチは、医療者の臨床疑問に確かな情報で応えるツールとして、品質と信頼性の向上に一層努めてまいります。

改めまして、この度の不具合によりご迷惑をおかけしましたことを深くお詫び申し上げます。
引き続きのご利用とご意見を、どうぞよろしくお願い申し上げます。


株式会社MU
代表取締役
村田 悠典