RFOD: Random Forest-basierte Ausreißererkennung für Tabellendaten

Grundinformationen

• Paper-ID: 2510.08747
• Titel: RFOD: Random Forest-based Outlier Detection for Tabular Data
• Autoren: Yihao Ang, Peicheng Yao, Yifan Bao, Yushuo Feng, Qiang Huang, Anthony K. H. Tung, Zhiyong Huang
• Klassifizierung: cs.LG (Machine Learning), cs.DB (Database)
• Veröffentlichungsdatum: 9. Oktober 2025 (arXiv-Preprint)
• Paper-Link: https://arxiv.org/abs/2510.08747

Zusammenfassung

Die Ausreißererkennung in Tabellendaten ist für die Gewährleistung der Datenintegrität in risikoreichen Bereichen wie Cybersicherheit, Betrugserkennung im Finanzwesen und Gesundheitswesen von entscheidender Bedeutung. Trotz kontinuierlicher Fortschritte in Data-Mining- und Deep-Learning-Techniken stehen bestehende Methoden vor Herausforderungen bei der Verarbeitung von Tabellendaten mit gemischten Datentypen, verlassen sich häufig auf Kodierungsschemata, die wichtige semantische Informationen verlieren, und mangelt es an Interpretierbarkeit. Um diese Probleme zu beheben, wird RFOD vorgestellt – ein speziell für Tabellendaten entwickeltes Random-Forest-basiertes Ausreißererkennungsframework. RFOD definiert die Ausreißererkennung als ein Feature-Level-Conditional-Reconstruction-Problem neu und trainiert spezialisierte Random Forests für jedes Feature, um eine robuste Verarbeitung heterogener Datentypen zu erreichen. Die Methode kombiniert angepasste Gower-Distanz (AGD) für zelluläre Bewertungen und Uncertainty-Weighted Averaging (UWA) für die Aggregation von Anomaliebewertungen auf Zeilenebene. Umfangreiche Experimente auf 15 realen Datensätzen zeigen, dass RFOD die Erkennungsgenauigkeit durchgehend gegenüber modernsten Baseline-Methoden übertrifft und gleichzeitig überlegene Robustheit, Skalierbarkeit und Interpretierbarkeit bietet.

Forschungshintergrund und Motivation

Problemdefinition

Die Ausreißererkennung zielt darauf ab, Instanzen in Daten zu identifizieren, die erheblich von der dominierenden Verteilung abweichen. Dies ist in risikoreichen Bereichen wie Cybersicherheit, Betrugserkennung im Finanzwesen und Gesundheitswesen von entscheidender Bedeutung. Nicht erkannte Anomalien können zu verzerrten Analysen, verborgenen kritischen Erkenntnissen und Betriebsstörungen führen.

Einschränkungen bestehender Methoden

1. Traditionelle Data-Mining-Methoden:
   • Methoden wie LOF, Isolation Forest und OCSVM verlassen sich typischerweise auf globale Nähe oder statistische Heuristiken
   • Verarbeiten Features oft unabhängig und können kontextuelle Anomalien in multivariaten Beziehungen nicht erfassen
   • Bieten unzureichende native Unterstützung für Daten mit gemischten Typen
2. Deep-Learning-Methoden:
   • Methoden wie Deep SVDD, DevNet und ICL setzen hauptsächlich rein numerische Eingaben voraus
   • Verlassen sich auf Vorverarbeitung (z. B. One-Hot-Encoding), die semantische Details verlieren kann
   • Die Black-Box-Natur behindert die Interpretierbarkeit

Forschungsmotivation

Bestehende Methoden zeigen inkonsistente Leistungen bei Tabellendaten mit gemischten Typen und bieten keine einheitliche Lösung, die sowohl hohe Erkennungsgenauigkeit als auch Interpretierbarkeit bietet. Dieses Paper zielt darauf ab, ein Ausreißererkennungsframework zu entwickeln, das:

• Nativ Daten mit gemischten Typen verarbeitet
• Feinkörnige Interpretierbarkeit bietet
• Hohe Erkennungsgenauigkeit und Recheneffizienz beibehält

Kernbeiträge

1. Feature-Level-Conditional-Reconstruction-Paradigma: Führt ein neues Paradigma ein, das die Ausreißererkennung als Feature-Level-Conditional-Reconstruction-Problem neu definiert und die Einschränkungen der globalen gemeinsamen Verteilungsmodellierung vermeidet
2. RFOD-Framework: Entwirft ein Random-Forest-basiertes Ausreißererkennungsframework mit vier Kernmodulen:
   • Feature-spezialisierte Random Forests
   • Forest-Pruning-Mechanismus
   • Angepasste Gower-Distanz (AGD)
   • Uncertainty-Weighted Averaging (UWA)
3. AGD-Distanzmetrik: Schlägt eine verbesserte Distanzmetrik vor, die schiefe numerische Verteilungen und Konfidenzwerte kategorialer Features berücksichtigt
4. Überlegene experimentelle Leistung: Erreicht beste durchschnittliche Leistung auf 15 realen Datensätzen mit AUC-ROC-Verbesserungen von bis zu 9,1% gegenüber der besten konkurrierenden Methode und durchschnittlich 91,2% Reduktion der Test-Latenz

Methodische Details

Aufgabendefinition

Gegeben ein Trainingssatz $\mathbf{X}_{train} \in \mathbb{R}^{n \times d}$ und ein Testsatz $\mathbf{X}_{test} \in \mathbb{R}^{m \times d}$, besteht das Ziel darin, zu berechnen:

• Zelluläre Anomaliebewertungsmatrix: $\mathbf{S}_{cell} = [s_{i,j}] \in \mathbb{R}^{m \times d}$
• Anomaliebewertungsvektor auf Zeilenebene: $\mathbf{s}_{row} = [s_{row,1}, \ldots, s_{row,m}] \in \mathbb{R}^m$

Modellarchitektur

1. Feature-spezialisierte Random Forests

Verwendet eine Leave-One-Feature-Out-Zerlegungsstrategie, um spezialisierte Random Forests $\mathbf{RF}_j$ für jedes Feature $\mathbf{x}_j$ zu trainieren: $\mathbf{RF}_j: \mathbf{X}^j_{train} \in \mathbb{R}^{n \times (d-1)} \rightarrow \mathbf{y}^j_{train} \in \mathbb{R}^n$

wobei $\mathbf{X}^j_{train} = \mathbf{X}_{train} \setminus \{\mathbf{x}_j\}$ und $\mathbf{y}^j_{train} = \mathbf{x}_j$.

2. Forest-Pruning

Behält optimale Bäume basierend auf Out-of-Bag (OOB)-Validierung: $\text{Prune}(\mathbf{RF}) = \{T_{U(i)} | 1 \leq i \leq \lfloor\beta \cdot t\rfloor\}$

wobei $\beta \in (0,1]$ das Beibehaltungsverhältnis ist und $U$ Indizes in absteigender OOB-Score-Reihenfolge sind.

3. Angepasste Gower-Distanz (AGD)

Numerische Features: $AGD^{(num)}(x_{i,j}, \hat{x}_{i,j}) = \frac{|x_{i,j} - \hat{x}_{i,j}|}{Q_{1-\alpha}(\mathbf{x}_j) - Q_\alpha(\mathbf{x}_j)}$

Kategoriale Features: $AGD^{(cat)}(x_{i,j}, \hat{x}_{i,j}) = 1 - p_{x_{i,j}}$

wobei $p_{x_{i,j}}$ die Vorhersagewahrscheinlichkeit der echten Kategorie ist.

4. Uncertainty-Weighted Averaging (UWA)

Berechnet die Unsicherheitsmatrix $\mathbf{U} = [u_{i,j}]$, wobei $u_{i,j}$ die Standardabweichung der Baum-Vorhersagen ist. Konfidenzgewichte: $\mathbf{W} = \mathbf{1}_{m \times d} - \tilde{\mathbf{U}}$ Finale Anomaliebewertung auf Zeilenebene: $s_{row,i} = \frac{1}{d} \sum_{j=1}^d w_{i,j} \cdot s_{i,j}$

Technische Innovationen

1. Conditional Reconstruction vs. globale Modellierung: Vermeidet das Fluch-der-Dimensionalität-Problem bei der Modellierung globaler gemeinsamer Verteilungen in hochdimensionalen Räumen
2. Native Unterstützung für Daten mit gemischten Typen: Verarbeitet numerische und kategoriale Features ohne komplexe Kodierung
3. Adaptive Distanzmetrik: AGD passt sich schiefen Verteilungen durch Quantilnormalisierung an und behandelt kategoriale Unsicherheit durch konfidenzabhängiges Matching
4. Unsicherheitsbewusste Aggregation: UWA nutzt die Vorhersagevarianz der Ensemble-Struktur, um Feature-Gewichte dynamisch anzupassen

Experimentelle Einrichtung

Datensätze

Verwendet 15 öffentliche Tabellendatensätze aus Cybersicherheit, Finanzwesen und Gesundheitswesen:

Bewertungsmetriken

• AUC-ROC: Misst die Rangfolgequalität von Anomaliebewertungen
• AUC-PR: Betont Präzision und Recall, besonders geeignet für Klassenungleichgewicht
• F1-Score und Genauigkeit: Schwellenwert-basierte Klassifizierungsleistungsindikatoren
• Log-Loss: Bewertet die Kalibrierung von Anomaliewahrscheinlichkeiten
• Trainingszeit und Testzeit: Bewertet Effizienz und Skalierbarkeit

Vergleichsmethoden

Data-Mining-Baselines: ECOD, LOF, IF, OCSVM, OT Deep-Learning-Baselines: Deep SVDD, SLAD, DevNet, DIF, ICL

Implementierungsdetails

• Deep-Model-Trainings-Epochen: 50
• Umgebung: Intel Xeon Platinum 8480C @3,80GHz, 256GB RAM, NVIDIA H200 GPU
• RFOD-Parameter: $\alpha \in [0,01, 0,02]$ (AGD-Sensitivität), $\beta$ adaptiv durch OOB-Validierung ausgewählt

Experimentelle Ergebnisse

Hauptergebnisse

RFOD zeigt überlegene Leistung bei allen Bewertungsmetriken:

• Durchschnittliche Rangfolge: Rangfolge 1-2 bei allen 5 Metriken, Rangfolge 1 bei AUC-ROC und F1
• Leistungsverbesserung: Durchschnittlich 46,7% AUC-PR-Verbesserung gegenüber Data-Mining-Methoden, 24,8% AUC-ROC-Verbesserung gegenüber Deep-Learning-Methoden
• Konsistenz: Übertrifft alle Baseline-Methoden bei 80-100% der Datensätze

Ablationsstudien

Validieren die Wichtigkeit jedes Moduls:

1. Forest-Pruning: Signifikante Leistungsverbesserung bei Bank-, Ethereum-Datensätzen, reduziert Überanpassung
2. AGD: Kritischste Komponente, AUC-ROC fällt von 0,96 auf 0,41 bei DoS-Datensatz ohne AGD
3. UWA: Bietet stabile Leistungsverbesserung bei großen Datensätzen wie Backdoor und DoS

Fallstudien

Am Beispiel des Pima-Gesundheitsdatensatzes:

• Zelluläre Interpretierbarkeit: Heatmaps zeigen, dass RFOD anomale Feature-Kombinationen präzise lokalisiert
• Zeilenebenen-Interpretierbarkeit: Vorhersagewerte fallen in Hochdichte-Bereiche normaler Verteilungen, echte Anomalien liegen in Verteilungsschwänzen
• Vergleichsanalyse: OCSVM und DIF erzeugen gleichmäßig hohe Aktivierungen, schwierig, echte Anomaliequellen zu isolieren

Effizienzanalyse

• Trainingszeit: Mehrere Größenordnungen schneller als Deep-Learning-Methoden, unterstützt Parallelisierung
• Testzeit: Durchschnittlich 91,2% Reduktion der Test-Latenz
• Skalierbarkeit: Tests auf KDD-Datensatz von 1% bis 100% Datengröße zeigen lineare Skalierung

Verwandte Arbeiten

Data-Mining-Methoden

Traditionelle Methoden wie LOF, IF und OCSVM verlassen sich hauptsächlich auf statistische oder nachbarschaftsbasierte Kriterien, setzen aber typischerweise Feature-Unabhängigkeit voraus und können multivariate Wechselwirkungen schwer erfassen.

Deep-Learning-Methoden

Methoden wie Deep SVDD, DevNet und ICL können komplexe Darstellungen erlernen, sind aber hauptsächlich für numerische Eingaben konzipiert, erfordern Vorverarbeitung für Daten mit gemischten Typen und mangelt es an Interpretierbarkeit.

Vorteile dieses Papers

RFOD kombiniert die Interpretierbarkeit von Baum-Methoden mit der Robustheit des Ensemble-Lernens, vermeidet durch Feature-Level-Conditional-Modellierung die Einschränkungen globaler Modellierung und bietet native Unterstützung für Daten mit gemischten Typen.

Schlussfolgerung und Diskussion

Hauptschlussfolgerungen

1. RFOD löst erfolgreich das Ausreißererkennungsproblem für Tabellendaten mit gemischten Typen durch Feature-Level-Conditional-Reconstruction
2. Das Design von AGD und UWA verbessert Erkennungsgenauigkeit und Robustheit erheblich
3. Die Methode bietet überlegene Interpretierbarkeit und Recheneffizienz bei Beibehaltung hoher Genauigkeit

Einschränkungen

1. Parametersensitivität: Obwohl der $\alpha$-Parameter relativ stabil ist, erfordert er gewisse Abstimmung
2. Speicheraufwand: Das Training unabhängiger Forests für jedes Feature kann bei extrem hochdimensionalen Daten zu Speicherdruck führen
3. Behandlung kategorialer Features: Die Verarbeitung hochkardinaler kategorialer Features könnte weitere Optimierung erfordern

Zukünftige Richtungen

1. Erforschung effizienterer Feature-Selection- und Dimensionalitätsreduktions-Techniken
2. Untersuchung von Anwendungen in Streaming- und Online-Learning-Szenarien
3. Erweiterung auf Zeitreihendaten und Graph-strukturierte Daten

Tiefgreifende Bewertung

Stärken

1. Methodische Innovativität: Das Feature-Level-Conditional-Reconstruction-Paradigma ist ein neuartiger und effektiver Ansatz
2. Experimentelle Umfassendheit: Umfassender Vergleich mit 15 Datensätzen und 10 Baseline-Methoden
3. Interpretierbarkeit: Bietet duale Interpretierbarkeit auf Zellen- und Zeilenebene
4. Praktischer Wert: Erreicht gutes Gleichgewicht zwischen Effizienz und Genauigkeit

Mängel

1. Theoretische Analyse: Mangelnde tiefgreifende theoretische Analyse von Konvergenz und Komplexität
2. Extreme Szenarien: Leistung bei extrem hochdimensionalen oder stark unausgeglichenen Daten erfordert weitere Validierung
3. Parameterführung: Mangelnde systematischere Richtlinien zur Parameterauswahl

Auswirkungen

1. Akademischer Beitrag: Bietet neue Forschungsrichtung für Ausreißererkennung in Tabellendaten
2. Praktischer Wert: Direktes Anwendungspotenzial in kritischen Bereichen wie Finanzwesen und Gesundheitswesen
3. Reproduzierbarkeit: Klare Algorithmusbeschreibung, leicht zu implementieren und zu reproduzieren

Anwendungsszenarien

• Ausreißererkennung in Tabellendaten mit gemischten Typen
• Hochrisiko-Entscheidungsszenarien, die Interpretierbarkeit erfordern
• Echtzeit-Anomaliemonitorierung bei mittleren Datenmengen
• Feature-Wichtigkeits- und Grundursachenanalyse

Referenzen

Das Paper zitiert wichtige Arbeiten im Bereich der Ausreißererkennung, einschließlich:

• Klassische Methoden: LOF (Breunig et al., 2000), Isolation Forest (Liu et al., 2008)
• Deep-Learning-Methoden: Deep SVDD (Ruff et al., 2018), DevNet (Pang et al., 2019)
• Distanzmetriken: Gower's Distance (Gower, 1971)
• Bewertungs-Benchmarks: ADBench (Han et al., 2022)

Gesamtbewertung: Dies ist ein hochqualitatives Forschungspapier zur Ausreißererkennung, das ein innovatives Methodenframework vorschlägt, umfassend experimentell validiert ist und großes Potenzial für praktische Anwendungen hat. Die Vorteile der Methode in Bezug auf Interpretierbarkeit und Effizienz machen sie bei praktischer Bereitstellung wettbewerbsfähig.