2025-11-12T11:28:10.381466

Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default

Liu, Wang, Liu et al.

Large language models work well for many NLP tasks, but they are hard to deploy in health settings with strict cost, latency, and privacy limits. We revisit a lightweight recipe for medical abstract classification and ask how far compact encoders can go under a controlled budget. Using the public medical abstracts corpus, we finetune BERT base and DistilBERT with three objectives standard cross-entropy, class weighted cross entropy, and focal loss keeping tokenizer, sequence length, optimizer, and schedule fixed. DistilBERT with plain cross-entropy gives the best balance on the test set while using far fewer parameters than BERT base. We report accuracy, Macro F1, and Weighted F1, release the evaluation code, and include confusion analyses to make error patterns clear. Our results suggest a practical default: start with a compact encoder and cross-entropy, then add calibration and task-specific checks before moving to heavier models.

academic

医学抄録分類のための軽量ベースライン：交差エントロピーを伴うDistilBERTが強力なデフォルト

基本情報

論文ID: 2510.10025
タイトル: Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
著者: Jiaqi Liu, Lanruo Wang, Su Liu, Xin Hu
分類: cs.CL cs.AI
発表日: 2025年10月11日 (arXivプレプリント)
論文リンク: https://arxiv.org/abs/2510.10025

要旨

大規模言語モデルは多くのNLPタスクで優れた性能を発揮していますが、厳格なコスト、レイテンシ、プライバシー制約を有する医療環境への展開は困難です。本論文は医学抄録分類の軽量ソリューションを再検討し、制限されたバジェット下でのコンパクトエンコーダの性能限界を探索しています。公開されている医学抄録コーパスを使用して、著者らはトークナイザ、シーケンス長、オプティマイザ、スケジューラを固定した条件下で、3つの目的関数（標準交差エントロピー、クラス加重交差エントロピー、焦点損失）を用いてBERT-baseおよびDistilBERTを微調整しました。結果として、DistilBERTと通常の交差エントロピーの組み合わせがテストセット上で最適なバランスを達成し、同時にBERT-baseよりもはるかに少ないパラメータを使用しています。

研究背景と動機

問題定義

生物医学文献の急速な増加に伴い、手動による追跡はもはや実行不可能となり、分類、トリアージ、要約を行うための信頼性の高い自動化システムの必要性が生じています。大規模言語モデルは優れた性能を示していますが、その計算およびメモリコストは医療環境での使用を制限しており、特にバジェット、レイテンシ、プライバシー制約（HIPAAなど）がある場合に顕著です。