2025-11-20T12:34:13.863172

CaReTS: A Multi-Task Framework Unifying Classification and Regression for Time Series Forecasting

Yao, Zhao, Zheng et al.
Recent advances in deep forecasting models have achieved remarkable performance, yet most approaches still struggle to provide both accurate predictions and interpretable insights into temporal dynamics. This paper proposes CaReTS, a novel multi-task learning framework that combines classification and regression tasks for multi-step time series forecasting problems. The framework adopts a dual-stream architecture, where a classification branch learns the stepwise trend into the future, while a regression branch estimates the corresponding deviations from the latest observation of the target variable. The dual-stream design provides more interpretable predictions by disentangling macro-level trends from micro-level deviations in the target variable. To enable effective learning in output prediction, deviation estimation, and trend classification, we design a multi-task loss with uncertainty-aware weighting to adaptively balance the contribution of each task. Furthermore, four variants (CaReTS1--4) are instantiated under this framework to incorporate mainstream temporal modelling encoders, including convolutional neural networks (CNNs), long short-term memory networks (LSTMs), and Transformers. Experiments on real-world datasets demonstrate that CaReTS outperforms state-of-the-art (SOTA) algorithms in forecasting accuracy, while achieving higher trend classification performance.
academic

CaReTS: 時系列予測のための分類と回帰を統一するマルチタスクフレームワーク

基本情報

  • 論文ID: 2511.09789
  • タイトル: CaReTS: A Multi-Task Framework Unifying Classification and Regression for Time Series Forecasting
  • 著者: Fulong Yao (Cardiff University)、Wanqing Zhao (Newcastle University)、Chao Zheng (Newcastle University)、Xiaofei Han (University of Leeds)
  • 分類: cs.LG (機械学習)
  • 発表日: 2025年11月12日 (arXiv プレプリント)
  • 論文リンク: https://arxiv.org/abs/2511.09789

要約

深層学習は時系列予測分野で顕著な進展を遂げていますが、既存の手法は正確な予測を提供する一方で、時間ダイナミクスに対する解釈可能性の洞察を提供することが困難です。本論文ではCaReTSを提案します。これは分類タスクと回帰タスクを組み合わせたマルチタスク学習フレームワークで、多段階時系列予測に使用されます。このフレームワークは双流アーキテクチャを採用しており、分類ブランチは将来の段階的なトレンドを学習し、回帰ブランチは最新の観測値に対する偏差を推定します。この設計は、マクロトレンドとミクロ偏差を分離することにより、より解釈可能な予測を提供します。効果的な学習を実現するために、不確定性認識ベースのマルチタスク損失関数が設計され、各タスクの寄与を適応的にバランスさせます。論文では4つの変種(CaReTS1-4)を実装し、主流の時間モデリングエンコーダ(CNN、LSTM、Transformer)と組み合わせています。実験により、CaReTSは予測精度とトレンド分類性能の両方で既存の最先端アルゴリズムを上回ることが示されています。

研究背景と動機

1. 解決すべき問題

時系列予測は、エネルギー管理、金融分析、医療監視、気候モデリングなど、多くの分野における基礎的な問題です。多段階予測は特に重要ですが、2つの大きな課題に直面しています:

  • 予測精度の低下: 予測時間領域が増加するにつれて、予測精度は通常低下します
  • 解釈可能性の不足: 高リスク環境では、モデルの透明性の欠如が信頼性を低下させます

2. 問題の重要性

多段階予測は、システムの短期および長期の時間ダイナミクスを捉えるために重要であり、情報に基づいた意思決定をサポートできます。しかし、既存の深層学習モデルは精度の向上をもたらしますが、解釈性の面ではまだ大きな不足があり、実際の応用における信頼性を制限しています。

3. 既存手法の限界

  • 単一回帰パラダイム: ほとんどの深層予測モデルは予測を単一の回帰タスクとしてモデル化し、数値予測のみに焦点を当てています
  • トレンドと偏差の結合: マクロトレンド(上昇/下降軌跡など)とミクロ偏差を分離することが困難です
  • 明示的なトレンドモデリングの欠如: Autoformer、FEDformerなどのモデルは分解メカニズムを導入していますが、主に入力層または表現層で動作し、出力層でトレンドと振幅を明示的に分離していません

4. 研究の動機

本論文の核心的な洞察は、時系列予測をトレンド分類(方向)と偏差回帰(振幅)という2つの相補的なタスクに分解することで、予測精度と解釈可能性の両方を同時に向上させることができるということです。この出力層レベルの分離は、マルチタスク学習の新しい視点を提供します。

核心的な貢献

  1. 双流アーキテクチャ設計: CaReTSフレームワークを提案し、双流アーキテクチャを採用しており、分類ブランチは段階的なマクロトレンドを予測し、回帰ブランチは最新の観測値に対する細粒度の偏差を推定します
  2. 不確定性認識マルチタスク学習: 不確定性ベースのマルチタスク損失関数を設計し、分類タスクと回帰タスクを適応的に加重して共同最適化し、手動パラメータ調整を回避します
  3. フレームワークの汎用性: 4つの変種(CaReTS1-4)を実装し、主流の時間エンコーダ(CNN、LSTM、Transformer)と組み合わせることができ、フレームワークの広範な互換性を示します
  4. 性能向上と解釈可能性の強化: 実世界のデータセットで最先端の予測精度を達成し、同時にトレンド分類精度が91%を超え、計算オーバーヘッドは管理可能です

方法の詳細

タスク定義

入力: 時系列 x={x1,x2,…,xn}\mathbf{x} = \{x_1, x_2, \ldots, x_n\}、ここで xnx_n は目標変数の最新観測値
出力: 将来K段階の予測 y^={y^1,y^2,…,y^K}\hat{\mathbf{y}} = \{\hat{y}_1, \hat{y}_2, \ldots, \hat{y}_K\}
核心的な考え方: 各段階の予測をトレンド方向 d(k)d^{(k)} と偏差振幅 δ(k)\delta^{(k)} に分解します

モデルアーキテクチャ

1. 2つの双流アーキテクチャ

アーキテクチャ(a): 並列双流

  • 時間エンコーダ(CNN/LSTM/Transformer)が時間特徴を抽出
  • 特徴が2つの独立した全結合流に並列入力:
    • 分類流: 段階的なトレンド(上昇/下降)を予測
    • 回帰流: xnx_n に対する相対的な偏差を推定
  • 残差融合: y^(k)=xn+融合(d(k),δ(k))\hat{y}^{(k)} = x_n + \text{融合}(d^{(k)}, \delta^{(k)})

アーキテクチャ(b): 順序双流

  • 最初に分類流を通じてトレンドを推論
  • 分類出力を元の時間特徴と連結
  • 回帰流に入力して偏差を推定
  • 直接融合: y^(k)=xn+δ^(k)\hat{y}^{(k)} = x_n + \hat{\delta}^{(k)}

2. 4つのモデル変種

モデルアーキテクチャトレンド表現偏差表現融合方法
CaReTS1(a)二値ラベル d^(k)∈{+1,−1}\hat{d}^{(k)} \in \{+1,-1\}単一非負偏差 δ^(k)\hat{\delta}^{(k)}y^(k)=xn+d^(k)⋅δ^(k)\hat{y}^{(k)} = x_n + \hat{d}^{(k)} \cdot \hat{\delta}^{(k)}
CaReTS2(a)二値ラベル d^(k)∈{+1,−1}\hat{d}^{(k)} \in \{+1,-1\}方向特定偏差 (δ^up(k),δ^down(k))(\hat{\delta}^{(k)}_{up}, \hat{\delta}^{(k)}_{down})トレンドに応じて対応する偏差を選択
CaReTS3(a)確率 (pup(k),pdown(k))(p^{(k)}_{up}, p^{(k)}_{down})方向特定偏差 (δ^up(k),δ^down(k))(\hat{\delta}^{(k)}_{up}, \hat{\delta}^{(k)}_{down})y^(k)=xn+pup(k)δ^up(k)−pdown(k)δ^down(k)\hat{y}^{(k)} = x_n + p^{(k)}_{up}\hat{\delta}^{(k)}_{up} - p^{(k)}_{down}\hat{\delta}^{(k)}_{down}
CaReTS4(b)確率 p(k)p^{(k)}符号付き偏差 δ^(k)\hat{\delta}^{(k)}y^(k)=xn+δ^(k)\hat{y}^{(k)} = x_n + \hat{\delta}^{(k)}

マルチタスク損失関数

アーキテクチャ(a)の損失関数

L(a)=αcaLca+αdeLde+αopLopL^{(a)} = \alpha_{ca}L_{ca} + \alpha_{de}L_{de} + \alpha_{op}L_{op}

ここで:

  • LcaL_{ca}: トレンド分類損失(二値交叉エントロピーまたは分類交叉エントロピー)
  • LdeL_{de}: 偏差推定損失(MSE)
  • LopL_{op}: 出力予測損失(MSE)

アーキテクチャ(b)の損失関数

L(b)=αcaLca+αopLopL^{(b)} = \alpha_{ca}L_{ca} + \alpha_{op}L_{op}

不確定性認識重み

核心的な革新: タスク重みを学習可能なパラメータとしてモデル化し、予測の不確定性に基づいて適応的に調整:

αi=12σi2,i∈{ca,de,op}\alpha_i = \frac{1}{2\sigma_i^2}, \quad i \in \{ca, de, op\}

実装では対数分散 log⁡σi2\log \sigma_i^2 を学習可能なパラメータとして使用し、最終的な損失は:

L(a)=∑i∈{ca,de,op}(12e−log⁡σi2Li+12log⁡σi2)L^{(a)} = \sum_{i \in \{ca,de,op\}} \left(\frac{1}{2}e^{-\log \sigma_i^2}L_i + \frac{1}{2}\log \sigma_i^2\right)

安定化戦略:

  1. ソフト正則化: 対数分散パラメータに対するペナルティ項を追加
  2. 値域制限: log⁡σi2\log \sigma_i^2 を [−10,10][-10, 10] 範囲に制限

技術的な革新点

  1. 出力層分離: Autoformerなどが入力層で分解するのと異なり、CaReTSは出力層でトレンドと偏差を明示的に分離し、より直接的な解釈可能性を提供します
  2. ソフト融合メカニズム(CaReTS3): 確率加重を通じて2つの方向の偏差を融合し、トレンドが不確実な場合に滑らかな遷移を実現します
  3. 適応的タスクバランシング: 不確定性ベースの重み学習により、手動調整を回避し、モデルがより信頼性の高いタスクに自動的に焦点を当てます
  4. 段階的複雑度設計: CaReTS1からCaReTS4へ、段階的にモデリング能力を増加させ、設計空間を体系的に探索します

実験設定

データセット

2つの実世界の時系列予測タスク:

  1. 電力価格予測: 8,784時間の観測(1年)
  2. 電力需要予測(未充足電力): 8,784時間の観測

予測設定: 15-to-6スキーム

  • 入力: 現在のタイムステップの月、曜日、時間 + 過去12段階の目標変数観測
  • 出力: 将来6段階の目標変数予測

データ分割:

  • 訓練セット: 6,048ポイント
  • テストセット: 2,736ポイント
  • 評価方法: 10分割交叉検証

評価指標

  1. RMSE(二乗平均平方根誤差): 予測精度を測定
  2. トレンド分類精度: トレンド方向予測の正確性を測定

比較手法

設計ベースライン(3つ):

  • Baseline1: 従来のエンコーダ-デコーダアーキテクチャ
  • Baseline2: 残差接続を削除した簡略版
  • Baseline3: 融合モジュールを単一のFC層で置き換え

SOTA アルゴリズム(10個):

  • Transformerシリーズ: Autoformer、FEDformer、Non-stationary Transformer、Informer
  • ハイブリッドモデル: TimesNet、TimeXer、D-CNN-LSTM
  • 軽量モデル: DLinear、NLinear、TimeMixer
  • ファジィニューラルネットワーク: SOIT2FNN-MO

実装詳細

  • プラットフォーム: Google Colab with T4 GPU
  • エンコーダ: 2層、64隠れユニット
    • CNN: 畳み込みカーネルサイズ3、パディング1
    • Transformer: 4つの注意ヘッド
  • 分類/回帰ブランチ: 2層FC、64隠れユニット
  • オプティマイザ: Adam、学習率0.001
  • バッチサイズ: 64
  • 訓練エポック: 最大600、早期停止(50エポック改善なし)
  • 活性化関数: ReLU
  • 正規化: Min-Max正規化

実験結果

主要な結果

1. アーキテクチャ評価(表2)

未充足電力予測(テストセットRMSE):

  • 最良: CaReTS2-Transformer (0.0691 ± 0.0018)
  • 次点: CaReTS3-CNN (0.0692 ± 0.0010)
  • すべてのCaReTS2-4変種がベースラインを上回る

電力価格予測(テストセットRMSE):

  • 最良: CaReTS2-Transformer (0.0465 ± 0.0012)
  • CaReTS1-4は全エンコーダ構成でベースラインを上回る(CaReTS1-LSTMを除く)

主要な発見:

  • CaReTS2は最も安定した性能を示し、6つの構成中4つで最良、2つで次点
  • Transformerエンコーダは通常CNNとLSTMより優れている
  • CaReTS1は偏差ブランチの簡略化により、明らかな優位性がない

2. トレンド分類性能(表3)

すべての変種が90%以上の精度を達成:

  • 未充足電力: CaReTS2-Transformer最高 (0.9192 ± 0.0022)
  • 電力価格: CaReTS2-Transformer最高 (0.9146 ± 0.0019)

段階別分析(図5):

  • トレンド分類精度は6段階予測全体で安定し、わずかに改善さえします
  • RMSEの増加と対照的に、フレームワークが長期予測でトレンド一貫性を維持する堅牢性を示します

アブレーション実験

マルチタスク vs 単一タスク学習(表4)

Transformerエンコーダを例に:

未充足電力:

  • CaReTS2マルチタスク: RMSE 0.0691、トレンド精度 0.9192
  • CaReTS2単一タスク: RMSE 0.0704、トレンド精度 0.9060
  • 改善: RMSE 1.8%低下、トレンド精度 1.3%向上

電力価格:

  • CaReTS1マルチタスク: RMSE 0.0473、トレンド精度 0.9142
  • CaReTS1単一タスク: RMSE 0.0539、トレンド精度 0.8663
  • 改善: RMSE 12.2%低下、トレンド精度 5.5%向上

計算オーバーヘッド:

  • 追加パラメータは3つのタスク重みスカラーのみ
  • 実行時間の増加は無視できる(253-401秒 vs 216-386秒)

SOTA比較(表5)

未充足電力:

  • CaReTS2: RMSE 0.0691、トレンド精度 0.9192
  • TimeXer(次点SOTA): RMSE 0.0700、トレンド精度 0.9066
  • 優位性: RMSE 1.3%低下、トレンド精度 1.4%向上

電力価格:

  • CaReTS2: RMSE 0.0465、トレンド精度 0.9146
  • TimeXer(最良SOTA): RMSE 0.0463、トレンド精度 0.9013
  • 優位性: RMSEはわずかに0.4%高いが、トレンド精度は1.5%高い

効率比較:

  • CaReTS実行時間: 200-400秒
  • 軽量モデル(DLinear/NLinear): <70秒
  • 重型モデル(Autoformer/TimeXer): >460秒
  • 結論: CaReTSは精度と効率のバランスを良好に取得

拡張実験(付録A.6)

15-4および15-8予測設定下で:

  • CaReTS2は常にRMSEとトレンド精度の上位3位以内
  • 異なる予測時間領域でのフレームワークの安定性を検証

実験的発見

  1. トレンド安定性: トレンド分類精度は予測段階数の増加に伴って低下せず、マクロトレンドモデリングの堅牢性を示します
  2. 相補的学習: マルチタスク学習は相補的学習を促進し、タスク干渉ではなく、共同最適化は単一タスクより優れています
  3. エンコーダ互換性: フレームワークは異なるエンコーダとよく互換性があり、Transformerは通常最良の性能を示します
  4. 方向特定モデリング: CaReTS2の方向特定偏差設計は非対称ダイナミクスを捉え、単一偏差(CaReTS1)より優れています
  5. ソフト融合の優位性: CaReTS3の確率加重は、トレンドが不確実な場合に滑らかな遷移を提供します

関連研究

1. 深層時系列予測

  • CNN手法: 局所的な時空パターンを抽出
  • RNN手法: LSTM、GRUが系列依存性を捉える
  • Transformer手法:
    • Informer: ProbSparse注意
    • Autoformer: 季節-トレンド分解 + 自己相関注意
    • FEDformer: 周波数領域フィルタリング
    • PatchTST: パッチベースの埋め込み
    • iTransformer: 逆転モデリング軸が変数依存性に注目

2. 分解と解釈可能性

  • 線形分解: DLinear、NLinearは簡単なトレンド-季節分解で競争力のある結果を達成
  • Transformer分解: ETSformer、Autoformer、FEDformerは入力/表現層でコンポーネントをモデル化
  • 本論文の区別: 出力層分離、予測目標のトレンドと偏差を直接分離

3. マルチタスクとモジュール化アーキテクチャ

  • TimeXer: 内生信号と外生信号を区別
  • TimesNet: 異なる時間スケールを捉える多周期モジュール
  • 軽量MLP: TimeMixer、LightTS、TSMixer
  • 本論文の革新: 出力層双流フレームワーク、不確定性ベースの適応的タスクバランシング

結論と議論

主要な結論

  1. CaReTSは双流アーキテクチャを通じてトレンド分類と偏差推定を成功裏に分離し、予測精度と解釈可能性の両方を向上させます
  2. 不確定性ベースのマルチタスク学習メカニズムは3つのタスクの寄与を効果的にバランスさせ、手動調整を回避します
  3. 4つの変種はフレームワークの柔軟性を示し、CaReTS2-Transformerの組み合わせが最良の性能を示します
  4. 実世界のデータセットでSOTA性能に達するか超過し、トレンド分類精度は91%を超え、計算オーバーヘッドは管理可能です

限界

  1. 長期予測検証の不足: GPU資源の制限により、主に6段階予測で評価され、超長期予測能力が十分に検証されていません
  2. データセット多様性: 2つの電力関連データセットのみでテストされ、領域横断的検証が不足しています(金融、医療など)
  3. エンコーダ革新の限定: 標準エンコーダを採用し、カスタマイズされた時間特徴抽出器を探索していません
  4. 二値トレンドの簡略化: 上昇/下降のみをモデル化し、平坦なトレンドまたはより細粒度のトレンド分類を考慮していません
  5. 解釈可能性の定量化の欠如: 解釈可能性の向上を主張していますが、ユーザー研究または解釈可能性指標の定量的評価が不足しています

今後の方向

  1. 長期予測の拡張: より大きな計算リソースの下で超長期(例えば100+段階)予測能力を検証
  2. 領域横断的検証: 金融、医療、気候など多様な領域でフレームワークの汎化能力をテスト
  3. 多段階トレンド分類: 複数クラスのトレンド(強上昇、弱上昇、平坦など)に拡張
  4. カスタムエンコーダ: トレンド-偏差分解に最適化された特徴抽出器を探索
  5. 解釈可能性研究: ユーザー研究を実施し、解釈可能性向上を定量的に評価

深い評価

強み

  1. 革新的な問題分解: 時系列予測をトレンド分類と偏差回帰に分解することは直感的で効果的であり、モデリングの新しい視点を提供します
  2. 理論的基礎の堅実性: 不確定性認識マルチタスク学習は堅実な理論的支持(Kendall et al., 2018)を持ち、実装の詳細は完全です
  3. 体系的な設計探索: 4つの変種は単純から複雑へと段階的に進化し、設計空間を明確に示します
  4. 実験の厳密性と充実性:
    • 10分割交叉検証は信頼性の高い推定を提供
    • 10個のSOTAアルゴリズムと比較
    • アブレーション実験が各コンポーネントの寄与を検証
    • 段階別分析がトレンド安定性を明らかにする
  5. 再現性の強さ: 匿名コードを提供し、実装の詳細が詳細です
  6. 明確な執筆: 構造が合理的で、図表が豊富で、技術的説明が正確です

不足

  1. 解釈可能性評価の不足:
    • トレンド-偏差分解が理解を支援する方法を示すビジュアル化ケースが不足
    • ユーザー研究が実施されていない
    • 解釈可能性は主に概念レベルにとどまっている
  2. データセットの制限:
    • 関連領域の2つのデータセットのみ
    • サンプルサイズが比較的小さい(8784ポイント)
    • 多変量時系列での検証が不足
  3. 長期予測検証の欠失:
    • 主に6段階予測で評価
    • 図5はトレンド安定性を示していますが、より長い時間領域での実際のテストはありません
    • 長期予測能力の判断を制限
  4. 計算オーバーヘッド分析の粗さ:
    • 総実行時間のみを報告
    • 詳細な時間と空間複雑度分析が不足
    • 異なるコンポーネントの計算ボトルネックの分析がない
  5. ベースライン設計の疑問:
    • 3つの設計ベースラインは十分に強力でない可能性
    • 他のマルチタスク学習手法との比較が不足
  6. トレンド定義の簡略化:
    • 二値トレンド(上昇/下降)は過度に粗い可能性
    • 平坦な状態またはトレンド強度を考慮していない

影響力

  1. 学術的貢献:
    • 出力層分解の新しい視点を提供
    • 不確定性認識マルチタスク学習の時系列予測への応用
    • トレンド-振幅分離に関するより多くの研究を触発する可能性
  2. 実用的価値:
    • 電力予測などの応用で実用性を示す
    • トレンド分類は意思決定支援情報を提供
    • 計算オーバーヘッドは管理可能で、実際の展開に適しています
  3. 再現性:
    • コードを提供(匿名ですが)
    • 実装の詳細が完全
    • 後続研究の再現と拡張を容易にする
  4. 限界の影響:
    • データセットと長期予測の限界は影響力を制限する可能性
    • 広範な応用にはより多くの領域横断的検証が必要

適用可能なシナリオ

適切なシナリオ:

  1. 短中期予測タスク(6-8段階): フレームワークはこの範囲で十分に検証されています
  2. トレンド説明が必要なアプリケーション: 金融決策、エネルギー調度など、トレンド方向が正確な数値より重要
  3. 単変量または低次元時系列: 現在の実験設定は単変量です
  4. 中程度のデータ量のシナリオ: 訓練サンプルは約6000ポイント

あまり適切でないシナリオ:

  1. 超長期予測(>10段階): 検証が不足し、効果は不明
  2. 高次元多変量時系列: 多変量設定で十分にテストされていません
  3. リアルタイム予測: 200-400秒の計算時間はリアルタイム要件を満たさない可能性
  4. トレンドが不明確な平坦な系列: トレンド分類は顕著な優位性がない可能性

参考文献

論文が引用する主要文献

  1. Kendall et al. (2018): Multi-task learning using uncertainty to weigh losses for scene geometry and semantics. CVPR. 不確定性加重の理論的基礎
  2. Vaswani et al. (2017): Attention is all you need. NeurIPS. Transformerアーキテクチャ
  3. Zhou et al. (2021): Informer: Beyond efficient transformer for long sequence time-series forecasting. AAAI. ProbSparse注意
  4. Wu et al. (2021): Autoformer: Decomposition transformers with auto-correlation for long-term series forecasting. NeurIPS. 季節-トレンド分解
  5. Zhou et al. (2022): FEDformer: Frequency enhanced decomposed transformer for long-term series forecasting. ICML. 周波数領域分解
  6. Liu et al. (2023): iTransformer: Inverted transformers are effective for time series forecasting. arXiv. 逆転モデリング
  7. Zeng et al. (2023): Are transformers effective for time series forecasting? AAAI. DLinear/NLinear簡単ベースライン
  8. Wang et al. (2024c): TimeXer: Empowering transformers for time series forecasting with exogenous variables. NeurIPS. 外生変数モデリング

総合評価: これは設計が精巧で、実験が扎実な時系列予測論文です。核心的な革新——出力層トレンド-偏差分解——は単純ですが効果的であり、不確定性認識マルチタスク学習の実装は優雅です。実験結果は手法の有効性を証明し、精度と解釈可能性の両方で改善を示しています。主な不足は解釈可能性評価が十分でなく、データセットの多様性が限定的で、長期予測検証が不足していることです。後続の研究では、より多くの領域とより長い時間領域での検証を行い、ユーザー研究を通じて解釈可能性の向上を定量化することをお勧めします。全体として、これは時系列予測に新しいモデリングパラダイムを提供する価値のある貢献です。