2025-11-15T23:04:12.069621

GPT-4 on Clinic Depression Assessment: An LLM-Based Pilot Study

Lorenzoni, Velmovitsky, Alencar et al.

Depression has impacted millions of people worldwide and has become one of the most prevalent mental disorders. Early mental disorder detection can lead to cost savings for public health agencies and avoid the onset of other major comorbidities. Additionally, the shortage of specialized personnel is a critical issue because clinical depression diagnosis is highly dependent on expert professionals and is time consuming. In this study, we explore the use of GPT-4 for clinical depression assessment based on transcript analysis. We examine the model's ability to classify patient interviews into binary categories: depressed and not depressed. A comparative analysis is conducted considering prompt complexity (e.g., using both simple and complex prompts) as well as varied temperature settings to assess the impact of prompt complexity and randomness on the model's performance. Results indicate that GPT-4 exhibits considerable variability in accuracy and F1-Score across configurations, with optimal performance observed at lower temperature values (0.0-0.2) for complex prompts. However, beyond a certain threshold (temperature >= 0.3), the relationship between randomness and performance becomes unpredictable, diminishing the gains from prompt complexity. These findings suggest that, while GPT-4 shows promise for clinical assessment, the configuration of the prompts and model parameters requires careful calibration to ensure consistent results. This preliminary study contributes to understanding the dynamics between prompt engineering and large language models, offering insights for future development of AI-powered tools in clinical settings.

academic

GPT-4による臨床抑うつ症評価：LLMベースのパイロット研究

基本情報

論文ID: 2501.00199
タイトル: GPT-4 on Clinic Depression Assessment: An LLM-Based Pilot Study
著者: Giuliano Lorenzoni, Pedro Elkind Velmovitsky, Paulo Alencar, Donald Cowan
分類: cs.CL（計算言語学）、cs.AI（人工知能）
発表日時: 2024年12月31日（arXivプレプリント）
論文リンク: https://arxiv.org/abs/2501.00199

要約

抑うつ症は世界中の数百万人に影響を与えており、最も一般的な精神疾患の一つとなっています。精神疾患の早期検出は、公衆衛生機関のコスト削減と他の重大な合併症の予防につながります。さらに、専門家の不足は重大な問題であり、臨床抑うつ症の診断は専門家に大きく依存し、時間がかかります。

本研究は、インタビュー転写テキストに基づくGPT-4を用いた臨床抑うつ症評価の使用を探索しています。本研究は、患者インタビューを二値カテゴリ（抑うつおよび非抑うつ）に分類するモデルの能力を検証しました。プロンプトの複雑性（シンプルおよび複雑なプロンプト）と異なる温度設定を考慮した比較分析を通じて、プロンプトの複雑性とランダム性がモデルのパフォーマンスに与える影響を評価しました。

結果は、異なる構成下でのGPT-4の精度とF1スコアに顕著な変動性があることを示しており、複雑なプロンプトの低温度値（0.0～0.2）で最高のパフォーマンスが観察されました。しかし、特定のしきい値（温度≥0.3）を超えると、ランダム性とパフォーマンスの関係は予測不可能になり、プロンプトの複雑性による利益が減少します。

研究背景と動機

問題の定義

本研究が解決しようとしている中核的な問題は、大規模言語モデルGPT-4を利用して臨床抑うつ症診断を支援する方法、特に患者インタビュー転写テキストを分析して二値分類（抑うつ/非抑うつ）を行う方法です。

問題の重要性

世界的な健康負担：抑うつ症は世界で最も一般的な精神疾患の一つであり、数百万人に影響を与えています
早期検出の価値：早期発見は医療コストを大幅に削減し、重大な合併症を予防できます
リソース不足：精神保健の専門家が深刻に不足しており、診断プロセスは専門家に依存し、時間がかかります
技術的機会：大規模言語モデルの発展は、精神保健評価の自動化に新たな可能性をもたらします

既存方法の限界

従来の機械学習方法：主にSVM、TextCNNなどの方法を使用しており、DAIC-WOZデータセットへの応用は限定的です
特徴エンジニアリングへの依存：手動での特徴抽出が必要であり、エンドツーエンドの自動化能力が不足しています
LLM応用の不足：LLMを使用した抑うつ症検出に関する研究がありますが、体系的なプロンプトエンジニアリングとパラメータ調整研究が不足しています

研究動機

GPT-4の臨床抑うつ症評価への応用を体系的に研究することにより、特にプロンプトエンジニアリング戦略とモデルパラメータ（温度など）がパフォーマンスに与える影響に焦点を当て、AI支援精神保健診断の実証的基盤を提供することです。

中核的な貢献

DAIC-WOZデータセットに基づいた、臨床抑うつ症の二値分類タスクにおけるGPT-4の応用に関する初の体系的研究を実施しました
段階的プロンプトエンジニアリング戦略を提案し、シンプルなプロンプトから複雑なプロンプト、さらに例の拡張まで、異なる複雑度がパフォーマンスに与える影響を体系的に分析しました
温度パラメータがモデルの安定性とパフォーマンスに与える影響を深く分析し、0.0～0.2の最適温度範囲を発見しました
プロンプトの複雑性とランダム性の間の非線形関係を明らかにし、臨床AI応用のパラメータ調整に指針を提供しました
AI支援精神保健診断に実用的な構成戦略を提供し、臨床環境での偽陰性の削減の重要性を強調しました