Гибридная система нечёткой логики Mamdani-TSK интервального типа-2 для анализа регрессии

Основная информация

• ID статьи: 2510.13437
• Название: Hybrid Interval Type-2 Mamdani-TSK Fuzzy System for Regression Analysis
• Авторы: Ashish Bhatia, Renato Cordeiro de Amorim, Vito De Feo (Университет Эссекса, Великобритания)
• Классификация: cs.LG (Машинное обучение)
• Дата публикации: 15 октября 2025 г.
• Ссылка на статью: https://arxiv.org/abs/2510.13437v1

Аннотация

Анализ регрессии широко применяется в прогностическом моделировании в финансах, медицине и инженерии для исследования и количественной оценки взаимосвязей между входными переменными и непрерывными выходными переменными. Однако традиционные методы часто испытывают трудности при работе со сложностью реальных данных, включая неопределённость и нечёткость. Хотя методы глубокого обучения хорошо справляются с захватом сложных нелинейных зависимостей, им не хватает интерпретируемости и они подвержены переобучению на малых наборах данных. Нечёткие системы предоставляют альтернативную основу для работы с неопределённостью и неточностью, где системы Mamdani и Takagi-Sugeno-Kang (TSK) предлагают дополняющие преимущества: интерпретируемость и точность. В данной работе предлагается новый метод нечёткой регрессии, объединяющий интерпретируемость системы Mamdani с точностью модели TSK. Метод вводит гибридную структуру правил с нечёткими и чёткими компонентами и двойным механизмом доминирования, одновременно повышая точность и интерпретируемость.

Исследовательский контекст и мотивация

Определение проблемы

Основные вызовы, стоящие перед традиционными методами регрессии при работе с реальными данными:

1. Неопределённость и нечёткость: Присущая неопределённость и лингвистическая информация в реальных данных
2. Компромисс между интерпретируемостью и точностью: Модели глубокого обучения точны, но не интерпретируемы
3. Проблема малых наборов данных: Сложные модели подвержены переобучению на малых наборах данных

Ограничения существующих методов

• Традиционные методы регрессии: Предполагают точные и явные числовые зависимости, сложно обрабатывают неопределённость
• Методы глубокого обучения: Недостаток интерпретируемости, множество параметров, непригодны для обучения на малых наборах данных
• Нечёткие системы Mamdani: Сильная интерпретируемость, но ограниченная точность, грубое разбиение приводит к снижению производительности
• Нечёткие системы TSK: Высокая точность, но недостаток интерпретируемости, противоречит цели использования нечётких систем

Исследовательская мотивация

Разработка гибридной основы, которая сохраняет интерпретируемость системы Mamdani и достигает точности системы TSK, предоставляя сбалансированный и универсальный инструмент для прогностического моделирования.

Основные вклады

1. Гибридная структура правил: Предложена новая система нечёткой регрессии, объединяющая лингвистическую интерпретируемость системы Mamdani и числовую точность модели TSK
2. Двойной механизм доминирования: Введены два метода расчёта весов правил — на основе нечёткой поддержки/уверенности и на основе ошибки
3. Ограниченный компонент TSK: Выходные данные функции TSK ограничены границами соответствующего нечёткого множества, сохраняя интерпретируемость
4. Нечёткие множества интервального типа-2: Использование нечётких множеств интервального типа-2 для лучшей обработки неопределённости
5. Оптимизация ACO: Применение алгоритма оптимизации муравьиной колонии для выбора подмножества правил, балансируя компактность и точность модели

Подробное описание метода

Определение задачи

Дано: входные переменные $x_1, x_2, ..., x_n$ и непрерывная выходная переменная $y$. Цель: построить модель регрессии, которая одновременно точна и интерпретируема, способна обрабатывать неопределённость и нечёткость в данных.

Архитектура модели

1. Фаззификация нечёткими множествами интервального типа-2

Входные и выходные данные фаззифицируются с использованием нечётких множеств интервального типа-2:

$\tilde{F} = \int_{x \in X} \left[ \int_{u \in [\underline{\mu}(x), \overline{\mu}(x)]} 1/u \right] /x$

где $\underline{\mu}(x)$ и $\overline{\mu}(x)$ — нижняя и верхняя границы функции принадлежности соответственно.

2. Гибридная структура правил

Каждое правило содержит два компонента консеквента:

Форма правила:

ЕСЛИ x1 есть F1 И ... И xn есть Fn 
ТО (y есть G, y = f(x1, x2, ..., xn))

• Нечёткий компонент: Традиционный консеквент Mamdani, указывающий на выходное нечёткое множество
• Компонент функции TSK: Полиномиальная функция n-го порядка, предоставляющая чёткое выходное значение

Ограничение функции TSK: $y_{output} \in [LowerBound(F_{upper}), UpperBound(F_{upper})]$

Гарантирует, что выход TSK всегда находится в границах соответствующего нечёткого множества.

3. Двойной механизм взвешивания

Вес нечёткого правила:

• Поддержка: $Support(A_j \to \tilde{C}_j) = \frac{1}{|N|} \sum_{p=1}^N \mu_{A_j}(x_p) \cdot \mu_{C_j}(y_p)$
• Уверенность: $Confidence(A_j \to \tilde{C}_j) = \frac{\sum_{p=1}^N \mu_{A_j}(x_p) \cdot \mu_{C_j}(y_p)}{\sum_{p=1}^N \mu_{A_j}(x_p)}$
• Доминирование: $D = [S_{Rule\_lower} \cdot C_{lower}, S_{Rule\_upper} \cdot C_{upper}]$

Доминирование на основе ошибки: $Dominance_{ri} = \frac{1}{1 + r_i}$ где $r_i$ — среднеквадратическая ошибка (RMSE) i-го правила.

4. Выбор правил ACO

Использование алгоритма оптимизации муравьиной колонии для выбора оптимального подмножества правил:

• Каждый муравей строит решение подмножества правил
• Оценка качества решения на основе производительности RMSE
• Механизм обновления феромонов направляет процесс поиска
• Баланс между компактностью модели и точностью прогнозирования

5. Дефаззификация

Использование взвешенного среднего метода TSK для расчёта окончательного выхода: $y_{final} = \frac{\sum_{i=1}^M \omega_i y_i}{\sum_{i=1}^M \omega_i}$

Технические инновации

1. Ограниченный компонент TSK: В отличие от традиционного TSK, выход функции ограничен границами нечёткого множества
2. Обучение на подмножестве: Функции TSK обучаются только на обучающих выборках с положительной интенсивностью возбуждения
3. Двойной механизм доминирования: Расчёт весов, объединяющий нечёткую логику и числовую точность
4. Сохранение интерпретируемости: Форма правил аналогична традиционным системам Mamdani, но с повышенной точностью

Экспериментальная установка

Наборы данных

Использованы 6 эталонных наборов данных из репозитория KEEL:

1. Concrete Compressive Strength: 1030 экземпляров, 8 входных переменных
2. Diabetes: 768 записей, 2 входных атрибута
3. ELE-2: 11 105 экземпляров, 4 переменные прогнозирования
4. Mortgage: 1045 экземпляров, 14 переменных
5. Treasury: 956 записей, 16 финансовых атрибутов
6. Wankara: 1609 записей, 4 входные переменные

Метрики оценки

• RMSE (среднеквадратическая ошибка): Основная метрика оценки
• Метрики интерпретируемости: Охват правил, количество активных правил, характеристики базы правил, робастность

Методы сравнения

• MP: Многослойный персептрон
• SMOreg: Последовательная минимальная оптимизация
• WM: Алгоритм Wang и Mendel
• CHV: Алгоритм Cordon, Herrera и Villar
• GLD-WM: Глобальные горизонтальные параметры + база правил WM

Варианты модели

• HIT2-MTSK-D2: Функция TSK 2-го порядка
• HIT2-MTSK-D3: Функция TSK 3-го порядка

Результаты экспериментов

Основные результаты

На 6 наборах данных:

• 4 набора данных: Достигнуты лучшие результаты среди нечётких методов
• 2 набора данных: Превзойдены непрозрачные модели
• 1 набор данных: Достигнут лучший общий результат
• Улучшение RMSE: 0,4% - 19%

Конкретные показатели производительности:

• Concrete: HIT2-MTSK-D3 достигает 7,29 RMSE, лучший общий результат
• Mortgage: HIT2-MTSK-D3 достигает 0,13 RMSE, лучший метод среди нечётких
• Treasury: HIT2-MTSK-D3 достигает 0,27 RMSE, лучший метод среди нечётких
• Wankara: Оба варианта достигают 1,58 RMSE, соответствуя производительности SMOreg

Тематическое исследование: Прогнозирование цен на жилье в Калифорнии

Производительность на наборе данных о жилье в Калифорнии:

• Набор данных: 20 640 наблюдений, 8 признаков
• HIT2-MTSK RMSE: 0,695
• Mamdani FRBS RMSE: 0,751
• Количество правил: 75 правил
• Охват: 100% тестовых экземпляров активируют по крайней мере одно правило

Оценка интерпретируемости

• Охват категорий: Охватывает 96% диапазона фактических тестовых данных
• Активные правила: При пороге 0,15 в среднем активируется 8,38 правил
• Характеристики правил: 75 правил, в среднем 2,67 предпосылок
• Робастность к шуму: При уровне шума 10% изменение прогноза составляет 12,24%

Связанные работы

Развитие систем нечётких правил

• Метод Wang-Mendel: Ранее генерирование правил, управляемое данными
• Генетические нечёткие системы (GFS): Интеграция генетических алгоритмов для оптимизации обучения правил
• Применение эволюционных алгоритмов: Оптимизация базы знаний, базы правил и базы данных

Гибридные методы

• Методы Gr-MF и GA-WM: Объединение оптимизации базы правил и базы данных
• Метод GA-COR: Интеграция генетических алгоритмов с основой COR
• Метод WM+GL: Использование лингвистических 2-кортежей для горизонтальной настройки

Преимущества данной работы

По сравнению с существующими работами, предложенный метод значительно повышает точность, сохраняя интерпретируемость, решая проблему компромисса между точностью и интерпретируемостью в традиционных методах.

Заключение и обсуждение

Основные выводы

1. Эффективный баланс: Успешно сбалансирована интерпретируемость и точность в нечётких системах
2. Значительное улучшение: Достигнуты лучшие или близкие к лучшим результаты на большинстве эталонных наборов данных
3. Сохранение интерпретируемости: Форма правил аналогична традиционным системам Mamdani, легко понимается
4. Сильная робастность: Стабильная производительность на различных областях и наборах данных

Ограничения

1. Компромисс сложности: Функции TSK высокого порядка могут привести к переобучению
2. Пространство оптимизации: На некоторых наборах данных остаётся место для улучшения производительности
3. Вычислительная сложность: Оптимизация ACO увеличивает вычислительные затраты
4. Чувствительность параметров: Требуется разумная установка количества нечётких множеств и порядка функции TSK

Направления будущих исследований

1. Улучшение оптимизации: Исследование других метаэвристических методов оптимизации
2. Адаптация к области: Предварительная обработка и выбор признаков для конкретных областей
3. Расширенная оценка: Проверка на большем количестве наборов данных и метрик оценки
4. Теоретический анализ: Глубокий анализ сходимости и сложности

Глубокая оценка

Преимущества

1. Высокая инновационность: Впервые предложена гибридная нечёткая система с ограниченным компонентом TSK
2. Высокая практическая ценность: Решает ключевые проблемы в практических приложениях
3. Достаточные эксперименты: Проверка на нескольких эталонных наборах данных с подробным анализом интерпретируемости
4. Обоснованный метод: Логически ясный дизайн техники, прочная теоретическая основа

Недостатки

1. Недостаточный теоретический анализ: Отсутствуют теоретические гарантии сходимости и сложности
2. Руководство по выбору параметров: Отсутствует систематическая стратегия выбора параметров
3. Вычислительная эффективность: Анализ вычислительной сложности оптимизации ACO недостаточно детален
4. Границы применимости: Ограниченное обсуждение условий применимости метода

Влияние

1. Академический вклад: Предоставляет новое направление исследований в области нечётких систем
2. Практическая ценность: Важное применение в сценариях, требующих интерпретируемого ИИ
3. Воспроизводимость: Подробное описание метода облегчает воспроизведение и расширение

Сценарии применения

1. Оценка финансовых рисков: Требуются интерпретируемые прогностические модели
2. Медицинская диагностика: Требуется прозрачность процесса принятия решений
3. Инженерное управление: Требуется понимание поведения системы в приложениях управления
4. Регрессия на малых наборах данных: Сценарии, где традиционные методы глубокого обучения неприменимы

Библиография

Статья цитирует важные работы в области нечёткой логики, эволюционных алгоритмов и машинного обучения, включая фундаментальные работы Zadeh по нечёткой логике, классические нечёткие системы Mamdani и TSK, а также недавние исследования генетических нечётких систем и нечётких множеств интервального типа-2.

Общая оценка: Это высококачественная академическая статья, предлагающая инновационный гибридный метод нечёткой системы, который значительно повышает точность регрессии, сохраняя интерпретируемость. Метод хорошо спроектирован, эксперименты достаточно полны, работа имеет важное значение для области нечётких систем и интерпретируемого ИИ.