P-05出典・引用

AIを活用したリーガルリサーチツール(Lexis+ AIやWestlaw AI-Assisted Researchなど)の回答の正確性やハルシネーション(誤った情報生成)の実態はどこで確認できますか?

Journal of Empirical Legal Studies誌に掲載された査読付き研究論文(スタンフォード大学の研究者らによる調査)によれば、主要な法律AI製品を検証した結果、Lexis+ AIが最も高い性能を示し、質問全体の65%で正確(正しくかつ根拠のある)回答を返しました。一方、Westlaw AI-Assisted Researchの正答率は41%にとどまり、約3分の1の回答でハルシネーションが発生していたとされています。Thomson ReutersのAsk Practical Law AIは正答率19%と最も低く、対応文書範囲の限定により質問の60%以上で回答自体を拒否したと報告されています。比較対象としたGPT-4は、これら専門特化型の法律AIツールいずれよりも劣る性能でした。研究チームは、これらのツールがハルシネーションフリーであるという業界側の主張は誇張されているとし、誤りは全てのシステムで無視できない水準で持続していると結論づけています。既存Referenceでは、Westlaw・LexisNexisという代表的な商用リーガルリサーチデータベースの存在自体には触れられていますが、これらの製品に組み込まれたAI機能の正確性・信頼性を検証した第三者の実証研究には言及がありません。

実績・根拠

情報ソース