P-04課題解決

llama.cppは医療分野のような専門的な実務でどのように活用されていますか?

npj Digital Medicine誌に2024年9月20日付で掲載され米国立医学図書館PubMed Central(PMC)でも公開されている論文「Privacy-preserving large language models for structured medical information retrieval」によると、研究チームはローカル環境で稼働させたLlama 2モデルを用いて医療テキストから臨床所見を抽出する手法を開発しました。当初はJSON出力形式の標準的な手法を試みましたが出力の信頼性に問題があったため、llama.cppへ切り替え、その文法ベース出力フォーマット機能(grammar-based sampling)を活用することで有効なJSON形式を強制的に生成できるようにし、構造化データ抽出のパイプラインを実現しています。この手法により、肝硬変の検出において感度100%・特異度96%という高い精度を達成しつつ、データを外部送信しないローカル推論によってプライバシーを保護できたとされています。これはllama.cppプロジェクト自体とは独立した医療研究チームによる査読付き学術論文です。

実績・根拠

情報ソース