2025-11-11T13:34:09.510990

iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use

Zeng, Ding, Wang et al.

Augmenting large language models (LLMs) with external tools is a promising approach to enhance their capabilities, especially for complex tasks. Synthesizing tool-use data through real-world simulations is an effective way to achieve this. However, our investigation reveals that training gains significantly decay as synthetic data increases. The model struggles to benefit from additional synthetic data, which fails to endow it with advanced tool-use capabilities in complex scenarios Moreover, we discovered that the above limitation usually manifests as a fragment deficiency (i.e., parameter errors) in response. To this end, we propose an iterative reinforced fine-tuning strategy designed to alleviate this limitation. This strategy involves: (1) enhancing the diversity of response for synthetic data through path exploration of Monte Carlo Tree Search. (2) iteratively pinpointing the model's deficiency by constructing fine-grained preference pairs, and then improving it by preference optimization algorithms for targeted improvement. The experiments show that our method achieves 13.11% better performance than the same-size base model. It achieves an improvement of 6.5% in complex scenarios compared to the baseline, and it also outperforms larger open-source and closed-source models.

academic

iTool: 動的欠陥キャリブレーションを用いた強化微調整による高度なツール使用

基本情報

論文ID: 2501.09766
タイトル: iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use
著者: Yirong Zeng, Xiao Ding, Yuxian Wang, Weiwen Liu, Wu Ning, Yutai Hou, Xu Huang, Duyu Tang, Dandan Tu, Bing Qin, Ting Liu
所属機関: ハルビン工業大学社会計算・情報検索研究センター、華為技術有限公司、上海交通大学、中国科学技術大学
分類: cs.CL cs.AI cs.LG
発表時期: 2025年1月（arXiv プレプリント）
論文リンク: https://arxiv.org/abs/2501.09766

概要

大規模言語モデル（LLMs）と外部ツールの統合は、特に複雑なタスクにおいてその能力を強化する有効な方法である。実世界シミュレーションによる合成ツール使用データの生成はこの目標を達成するための有効な手段である。しかし、合成データの増加に伴い、訓練利得が著しく減衰することが判明した。モデルは追加の合成データから利益を得られず、複雑なシナリオにおいて高度なツール使用能力を獲得できない。著者らは、この制限が通常、応答における断片的欠陥（すなわちパラメータエラー）として現れることを発見した。これに対応するため、この制限を緩和するための反復強化微調整戦略を提案した。これには以下が含まれる：(1)モンテカルロ木探索による経路探索を通じた合成データ応答の多様性の向上、(2)細粒度選好ペアの構築による反復的なモデル欠陥の特定と選好最適化アルゴリズムによる標的化された改善。実験結果は、本手法が同規模の基礎モデルと比較して13.11%の性能向上を達成し、複雑なシナリオではベースラインより6.5%向上し、より大規模なオープンソースおよびクローズドソースモデルを上回ることを示している。

研究背景と動機

問題定義

中核的問題：既存のツール使用訓練方法は合成データ処理時に訓練利得減衰問題を有し、モデルは増加した合成データから効果的に学習できない
重要性：ツール使用能力はLLMsの実用的応用における重要な能力であり、情報検索、正確な計算、幻覚の削減など重要な機能に関わる
既存手法の限界：
- 従来の教師あり微調整（SFT）は複雑なツール使用シナリオで不十分な性能を示す
- 合成データ規模の増加に伴い、性能向上の限界効用は逓減する
- モデルはパラメータ抽出と推論において体系的欠陥を有する

研究発見

予備的研究を通じて以下が判明した：

BFCL評価において、エラーの51%はパラメータ値エラーに由来し、26%はパラメータ名エラーに由来する
エラーは通常応答の小さな断片にのみ影響し、大部分の内容は正解と一致する
従来のSFT手法は30%のデータ使用後、性能向上が著しく鈍化する

中核的貢献

合成ツール使用データ訓練における利得減衰問題を識別・分析し、エラーが主にパラメータ関連の断片的欠陥に集中していることを発見
iToolフレームワークを提案。段階的ウォームアップ訓練と反復強化学習という2つの中核コンポーネントを含む
MCTS基盤の細粒度選好データ生成手法を設計。応答内のエラー断片を効果的に識別・修正できる
複数のベンチマークで顕著な向上を達成。8Bパラメータモデルがより大規模なオープンソースおよびクローズドソースモデルを上回る

方法の詳細

タスク定義

ツール使用タスクにおいて、LLMはユーザークエリqと候補ツール集合T = {t₀, t₁, ..., t|T|}を受け取り、特定のツール列を実行することでユーザー意図を満たすことが目標である。決定プロセスはy ~ π(y | s₀, q, T)として記述できる。ここでπ(·)は方針モデル、s₀は初期タスク状態、yはモデルが採取した行動を表す。

モデルアーキテクチャ

1. 段階的ウォームアップ訓練（Warm-up Training）

易から難への課程学習戦略を採用：

データ分類基準：

簡単：ツール数≤1、ツール集合文字列長<1000、必要なツール呼び出し数≤1
中程度：1<ツール数<4、文字列長<2000、ツール呼び出し数<4
困難：ツール数≥4、文字列長>2000、ツール呼び出し数≥4

訓練損失：

L_warm-up = Σ(i=1 to 3) L_i
ここで L_i = -E_(q,y)~D_i [log P_M(y | q, T)]

2. MCTS基盤の反復強化学習

複雑データサンプリング：生成困惑度を用いてサンプル複雑性を測定：

h = ⁿ√(1/P_M(y | q, T))

各反復で困惑度が最も高い10%のデータを後続処理のために選択。

MCTS段階レベル選好生成：

選択段階：PUCT アルゴリズムを使用して探索と利用のバランスを取る
```
s_{t+1} = argmax_a [Q(s_t, a) + c·p(a|s_t)√(N(s_t))/(1+N(n(s_t,a)))]
```
拡張段階：葉ノードで新しいノードを統合し報酬を評価
```
R(s_t) = O(s_t) + C(s_t)
```
バックプロパゲーション段階：ボトムアップで訪問カウントと状態値を更新

反復選好最適化： SimPOアルゴリズムを用いた選好最適化を採用：

ℓ_i(π_θ) = -E_{(x,y^w,y^l)~D_i} [log σ(h^{y^w}_{π_θ} - h^{y^l}_{π_θ} - γ)]

技術的革新点

断片レベルのエラー識別：MCTSにより細粒度の選好ペアを生成し、応答内のエラー断片を正確に特定
動的複雑性キャリブレーション：生成困惑度に基づいて動的に複雑なサンプルを選択し、訓練効率を向上
反復最適化戦略：課程学習と強化学習を組み合わせ、複雑なシナリオにおけるモデル性能を段階的に向上

実験設定

データセット

訓練データ：ToolACEデータセット、100Kサンプルの汎用ツール使用データを含む
評価データセット：
- Berkeley Function-Calling Leaderboard (BFCL)：4K+インスタンス、Non-live（簡単）、Live（複雑）、Multi-turn（マルチターン）、Hallucination（幻覚検出）を含む
- API-Bank：314のツール使用対話、753のAPI呼び出し