2025-11-14T07:52:11.150813

Hybrid Interval Type-2 Mamdani-TSK Fuzzy System for Regression Analysis

Bhatia, de Amorim, De Feo

Regression analysis is employed to examine and quantify the relationships between input variables and a dependent and continuous output variable. It is widely used for predictive modelling in fields such as finance, healthcare, and engineering. However, traditional methods often struggle with real-world data complexities, including uncertainty and ambiguity. While deep learning approaches excel at capturing complex non-linear relationships, they lack interpretability and risk over-fitting on small datasets. Fuzzy systems provide an alternative framework for handling uncertainty and imprecision, with Mamdani and Takagi-Sugeno-Kang (TSK) systems offering complementary strengths: interpretability versus accuracy. This paper presents a novel fuzzy regression method that combines the interpretability of Mamdani systems with the precision of TSK models. The proposed approach introduces a hybrid rule structure with fuzzy and crisp components and dual dominance types, enhancing both accuracy and explainability. Evaluations on benchmark datasets demonstrate state-of-the-art performance in several cases, with rules maintaining a component similar to traditional Mamdani systems while improving precision through improved rule outputs. This hybrid methodology offers a balanced and versatile tool for predictive modelling, addressing the trade-off between interpretability and accuracy inherent in fuzzy systems. In the 6 datasets tested, the proposed approach gave the best fuzzy methodology score in 4 datasets, out-performed the opaque models in 2 datasets and produced the best overall score in 1 dataset with the improvements in RMSE ranging from 0.4% to 19%.

academic

Hybrides Intervall-Typ-2-Mamdani-TSK-Fuzzy-System für Regressionsanalyse

Grundinformationen

Paper-ID: 2510.13437
Titel: Hybrid Interval Type-2 Mamdani-TSK Fuzzy System for Regression Analysis
Autoren: Ashish Bhatia, Renato Cordeiro de Amorim, Vito De Feo (University of Essex, Vereinigtes Königreich)
Klassifizierung: cs.LG (Maschinelles Lernen)
Veröffentlichungsdatum: 15. Oktober 2025
Paper-Link: https://arxiv.org/abs/2510.13437v1

Zusammenfassung

Regressionsanalyse wird häufig in Vorhersagemodellen in den Bereichen Finanzen, Medizin und Ingenieurwesen eingesetzt, um die Beziehungen zwischen Eingabevariablen und kontinuierlichen Ausgabevariablen zu untersuchen und zu quantifizieren. Herkömmliche Methoden haben jedoch Schwierigkeiten, mit der Komplexität realer Daten umzugehen, einschließlich Unsicherheit und Unschärfe. Obwohl Deep-Learning-Methoden hervorragend komplexe nichtlineare Beziehungen erfassen können, fehlt ihnen die Interpretierbarkeit und sie sind anfällig für Überanpassung bei kleinen Datensätzen. Fuzzy-Systeme bieten einen alternativen Rahmen zur Behandlung von Unsicherheit und Ungenauigkeit, wobei Mamdani- und Takagi-Sugeno-Kang (TSK)-Systeme komplementäre Vorteile bieten: Interpretierbarkeit versus Genauigkeit. Dieses Paper präsentiert eine neuartige Fuzzy-Regressionsmethode, die die Interpretierbarkeit von Mamdani-Systemen mit der Präzision von TSK-Modellen kombiniert. Die Methode führt eine hybride Regelstruktur mit unscharfen und präzisen Komponenten sowie einem dualen Dominanzmechanismus ein, während gleichzeitig Genauigkeit und Interpretierbarkeit verbessert werden.

Forschungshintergrund und Motivation

Problemdefinition

Hauptherausforderungen, denen sich herkömmliche Regressionsmethoden bei der Verarbeitung realer Daten gegenübersehen:

Unsicherheit und Unschärfe: Inhärente Unsicherheit und sprachliche Informationen in realen Daten
Kompromiss zwischen Interpretierbarkeit und Genauigkeit: Deep-Learning-Modelle sind zwar präzise, aber nicht interpretierbar
Problem kleiner Datensätze: Komplexe Modelle neigen zur Überanpassung bei kleinen Datensätzen

Einschränkungen bestehender Methoden

Herkömmliche Regressionsmethoden: Gehen von exakten und eindeutigen numerischen Beziehungen aus, können Unsicherheit schwer handhaben
Deep-Learning-Methoden: Mangelnde Interpretierbarkeit, viele Parameter, ungeeignet für das Training mit kleinen Datensätzen
Mamdani-Fuzzy-Systeme: Starke Interpretierbarkeit, aber begrenzte Präzision; grobe Partitionierung führt zu schlechterer Leistung
TSK-Fuzzy-Systeme: Hohe Präzision, aber mangelnde Interpretierbarkeit; widerspricht dem Zweck der Verwendung von Fuzzy-Systemen

Forschungsmotivation

Entwicklung eines hybriden Rahmens, der sowohl die Interpretierbarkeit des Mamdani-Systems als auch die Präzision des TSK-Systems bewahrt und ein ausgewogenes und vielseitiges Werkzeug für die Vorhersagemodellierung bietet.

Kernbeiträge

Hybride Regelstruktur: Vorschlag eines neuartigen Fuzzy-Regressionssystems, das die sprachliche Interpretierbarkeit von Mamdani-Systemen und die numerische Präzision von TSK-Modellen kombiniert
Dualer Dominanzmechanismus: Einführung zweier Methoden zur Berechnung von Regelgewichten – Dominanz basierend auf Fuzzy-Unterstützung/Konfidenz und fehlerbasierte Dominanz
Eingeschränkte TSK-Komponente: TSK-Funktionsausgaben werden auf die Grenzen der entsprechenden Fuzzy-Menge beschränkt, um Interpretierbarkeit zu bewahren
Intervall-Typ-2-Fuzzy-Mengen: Verwendung von Intervall-Typ-2-Fuzzy-Mengen zur besseren Behandlung von Unsicherheit
ACO-Optimierung: Anwendung des Ameisenkolonie-Optimierungsalgorithmus zur Regeluntermenge-Auswahl, um Modellkompaktheit und Genauigkeit auszugleichen

Methodische Details

Aufgabendefinition

Gegeben sind Eingabevariablen $x_1, x_2, ..., x_n$ und eine kontinuierliche Ausgabevariable $y$ . Das Ziel ist die Entwicklung eines Regressionsmodells, das sowohl präzise als auch interpretierbar ist und Unsicherheit und Unschärfe in den Daten handhaben kann.

Modellarchitektur

1. Fuzzifizierung mit Intervall-Typ-2-Fuzzy-Mengen

Eingaben und Ausgaben werden mit Intervall-Typ-2-Fuzzy-Mengen fuzzifiziert:

$\tilde{F} = \int_{x \in X} \left[ \int_{u \in [\underline{\mu}(x), \overline{\mu}(x)]} 1/u \right] /x$

wobei $\underline{\mu}(x)$ und $\overline{\mu}(x)$ die untere und obere Zugehörigkeitsfunktion sind.

2. Hybride Regelstruktur

Jede Regel enthält zwei Konsequenz-Komponenten:

Regelform:

IF x1 is F1 AND ... AND xn is Fn 
THEN (y is G, y = f(x1, x2, ..., xn))

Unscharfe Komponente: Traditionelle Mamdani-Konsequenz, die auf eine Ausgabe-Fuzzy-Menge verweist
TSK-Funktionskomponente: Polynomfunktion n-ter Ordnung, die einen präzisen Ausgabewert liefert

TSK-Funktionsbeschränkung: $y_{output} \in [LowerBound(F_{upper}), UpperBound(F_{upper})]$

Stellt sicher, dass die TSK-Ausgabe immer innerhalb der Grenzen der entsprechenden Fuzzy-Menge liegt.

3. Dualer Gewichtungsmechanismus

Fuzzy-Regelgewichte:

Unterstützung: $Support(A_j \to \tilde{C}_j) = \frac{1}{|N|} \sum_{p=1}^N \mu_{A_j}(x_p) \cdot \mu_{C_j}(y_p)$
Konfidenz: $Confidence(A_j \to \tilde{C}_j) = \frac{\sum_{p=1}^N \mu_{A_j}(x_p) \cdot \mu_{C_j}(y_p)}{\sum_{p=1}^N \mu_{A_j}(x_p)}$
Dominanz: $D = [S_{Rule\_lower} \cdot C_{lower}, S_{Rule\_upper} \cdot C_{upper}]$

Fehlerbasierte Dominanz: $Dominance_{ri} = \frac{1}{1 + r_i}$ wobei $r_i$ der RMSE der i-ten Regel ist.

4. ACO-Regelauswahl

Verwendung des Ameisenkolonie-Optimierungsalgorithmus zur Auswahl der optimalen Regeluntermenge:

Jede Ameise konstruiert eine Regeluntermenge-Lösung
Lösungsqualität wird anhand der RMSE-Leistung bewertet
Pheromonaktualisierungsmechanismus leitet den Suchprozess
Ausgleich zwischen Modellkompaktheit und Vorhersagegenauigkeit

5. Defuzzifizierung

Berechnung der endgültigen Ausgabe mit der TSK-gewichteten Durchschnittsmethode: $y_{final} = \frac{\sum_{i=1}^M \omega_i y_i}{\sum_{i=1}^M \omega_i}$

Technische Innovationen

Eingeschränkte TSK-Komponente: Im Gegensatz zu traditionellem TSK werden Funktionsausgaben auf Fuzzy-Menge-Grenzen beschränkt
Untermenge-Training: TSK-Funktionen werden nur auf Trainingsmuster mit positiver Aktivierungsstärke trainiert
Dualer Dominanzmechanismus: Kombination von Fuzzy-Logik und numerischer Präzision bei der Gewichtsberechnung
Interpretierbarkeit bewahren: Regelform ähnelt traditionellen Mamdani-Systemen, aber mit höherer Präzision

Experimentelle Einrichtung

Datensätze

Verwendung von 6 Benchmark-Datensätzen aus dem KEEL-Repository:

Concrete Compressive Strength: 1.030 Instanzen, 8 Eingabevariablen
Diabetes: 768 Datensätze, 2 Eingabeattribute
ELE-2: 11.105 Instanzen, 4 Prädiktorvariablen
Mortgage: 1.045 Instanzen, 14 Variablen
Treasury: 956 Datensätze, 16 Finanzattribute
Wankara: 1.609 Datensätze, 4 Eingabevariablen

Evaluierungsmetriken

RMSE (Root Mean Squared Error): Primäre Evaluierungsmetrik
Interpretierbarkeitsmetriken: Regelabdeckung, aktive Regelanzahl, Regelbasis-Charakteristiken, Robustheit

Vergleichsmethoden

MP: Mehrschicht-Perceptron
SMOreg: Sequential Minimal Optimization
WM: Wang- und Mendel-Algorithmus
CHV: Cordon-, Herrera- und Villar-Algorithmus
GLD-WM: Globale laterale Parameter + WM-Regelbasis

Modellvarianten

HIT2-MTSK-D2: TSK-Funktion 2. Ordnung
HIT2-MTSK-D3: TSK-Funktion 3. Ordnung

Experimentelle Ergebnisse

Hauptergebnisse

Über 6 Datensätze hinweg:

4 Datensätze: Beste Fuzzy-Methoden-Ergebnisse
2 Datensätze: Übertreffung nicht-transparenter Modelle
1 Datensatz: Beste Gesamtleistung
RMSE-Verbesserungen: 0,4% - 19%

Spezifische Leistung:

Concrete: HIT2-MTSK-D3 erreicht 7,29 RMSE, beste Gesamtleistung
Mortgage: HIT2-MTSK-D3 erreicht 0,13 RMSE, beste Fuzzy-Methode
Treasury: HIT2-MTSK-D3 erreicht 0,27 RMSE, beste Fuzzy-Methode
Wankara: Beide Varianten erreichen 1,58 RMSE, entspricht SMOreg-Leistung

Fallstudie: Vorhersage von Kalifornischen Hauspreisen

Leistung auf dem kalifornischen Wohnungsdatensatz:

Datensatz: 20.640 Beobachtungen, 8 Merkmale
HIT2-MTSK RMSE: 0,695
Mamdani FRBS RMSE: 0,751
Regelanzahl: 75 Regeln
Abdeckung: 100% der Testinstanzen aktivieren mindestens eine Regel

Interpretierbarkeits-Bewertung

Klassabdeckung: Deckt 96% des tatsächlichen Testdatenbereichs ab
Aktive Regeln: Durchschnittlich 8,38 Regeln aktiviert bei Schwellenwert 0,15
Regelmerkmale: 75 Regeln, durchschnittlich 2,67 Prämissen
Rausch-Robustheit: 12,24% Vorhersageänderung bei 10% Rauschpegel

Schlussfolgerungen und Diskussion

Hauptschlussfolgerungen

Effektive Ausgewogenheit: Erfolgreiche Ausgewogenheit des Kompromisses zwischen Interpretierbarkeit und Genauigkeit in Fuzzy-Systemen
Signifikante Verbesserungen: Beste oder nahezu beste Leistung auf den meisten Benchmark-Datensätzen
Interpretierbarkeit bewahrt: Regelform ähnelt traditionellen Mamdani-Systemen und ist leicht verständlich
Starke Robustheit: Stabile Leistung über verschiedene Domänen und Datensätze hinweg

Einschränkungen

Komplexitäts-Kompromiss: TSK-Funktionen höherer Ordnung können zu Überanpassung führen
Optimierungsraum: Auf einigen Datensätzen besteht noch Raum für Leistungsverbesserungen
Rechenkomplexität: ACO-Optimierung erhöht die Rechenkosten
Parametersensitivität: Erfordert angemessene Einstellung der Fuzzy-Mengen-Anzahl und TSK-Funktionsordnung

Zukünftige Richtungen

Optimierungsverbesserungen: Erkundung anderer metaheuristischer Optimierungstechniken
Domänenanpassung: Vorverarbeitung und Merkmalsauswahl für spezifische Domänen
Erweiterte Evaluierung: Validierung mit mehr Datensätzen und Evaluierungsmetriken
Theoretische Analyse: Tiefere Konvergenz- und Komplexitätsanalyse

Tiefgreifende Bewertung

Stärken

Starke Innovativität: Erstmals ein hybrides Fuzzy-System mit eingeschränkter TSK-Komponente vorgeschlagen
Hoher praktischer Wert: Löst Schlüsselprobleme in praktischen Anwendungen
Umfangreiche Experimente: Validierung mit mehreren Benchmark-Datensätzen, einschließlich detaillierter Interpretierbarkeitsanalyse
Vernünftige Methodik: Klare logische Gestaltung der Techniken, solide theoretische Grundlagen

Schwächen

Unzureichende theoretische Analyse: Mangel an theoretischen Garantien für Konvergenz und Komplexität
Anleitung zur Parameterauswahl: Keine systematische Strategie zur Parameterauswahl vorhanden
Rechnereffizienz: Komplexitätsanalyse der ACO-Optimierung nicht ausreichend detailliert
Anwendbarkeitsgrenzen: Begrenzte Diskussion der Anwendungsbedingungen der Methode

Auswirkungen

Akademischer Beitrag: Bietet neue Forschungsrichtung für das Fuzzy-Systems-Feld
Praktischer Wert: Wichtige Anwendungswerte in Szenarien, die interpretierbare KI erfordern
Reproduzierbarkeit: Detaillierte Methodenbeschreibung ermöglicht Reproduktion und Erweiterung

Anwendungsszenarien

Finanzielle Risikobewertung: Benötigt interpretierbare Vorhersagemodelle
Medizinische Diagnose: Erfordert transparente Entscheidungsprozesse
Ingenieursteuerung: Benötigt Verständnis des Systemverhaltens in Steueranwendungen
Regression mit kleinen Datensätzen: Szenarien, in denen traditionelle Deep-Learning-Methoden ungeeignet sind

Referenzen

Das Paper zitiert wichtige Literatur aus den Bereichen Fuzzy-Systeme, evolutionäre Algorithmen und maschinelles Lernen, einschließlich grundlegender Arbeiten zur Fuzzy-Logik von Zadeh, klassischen Fuzzy-Systemen von Mamdani und TSK sowie aktueller Forschung zu genetischen Fuzzy-Systemen und Intervall-Typ-2-Fuzzy-Mengen.

Gesamtbewertung: Dies ist ein hochqualitatives akademisches Paper, das eine innovative hybride Fuzzy-System-Methode präsentiert, die die Interpretierbarkeit bewahrt und gleichzeitig die Regressionsgenauigkeit erheblich verbessert. Die Methodengestaltung ist vernünftig, die experimentelle Validierung umfassend, und das Paper leistet wichtige Beiträge zum Fuzzy-Systems- und interpretierbaren KI-Feld.