RedDino: Фундаментальная модель для анализа эритроцитов

Основная информация

• ID статьи: 2508.08180
• Название: RedDino: A foundation model for red blood cell analysis
• Авторы: Luca Zedda, Andrea Loddo, Cecilia Di Ruberto, Carsten Marr
• Классификация: eess.IV cs.AI cs.CV
• Дата публикации: 22 августа 2025 г. (arXiv v2)
• Ссылка на статью: https://arxiv.org/abs/2508.08180

Аннотация

Эритроциты (RBC) имеют критическое значение для здоровья человека, а точный морфологический анализ является важным для диагностики гематологических заболеваний. Несмотря на огромный потенциал фундаментальных моделей в медицинской диагностике, комплексные решения на основе искусственного интеллекта для анализа RBC остаются дефицитными. В данной работе предлагается RedDino — самообучающаяся фундаментальная модель, специально разработанная для анализа изображений эритроцитов. RedDino использует адаптированную для RBC структуру самообучения DINOv2, обученную на тщательно подобранном наборе данных, содержащем 1,25 миллиона изображений RBC из различных режимов захвата и источников. Обширная оценка показывает, что RedDino значительно превосходит существующие передовые модели в задачах классификации формы эритроцитов. Валидация сильного представления признаков и способности к обобщению модели подтверждена методами линейного зондирования и классификации по ближайшим соседям.

Исследовательский контекст и мотивация

Определение проблемы

Морфологический анализ эритроцитов является основой гематологической диагностики, но сталкивается со следующими ключевыми вызовами:

1. Вариативность окрашивания и визуализации: различные протоколы окрашивания и устройства визуализации вносят смещение, увеличивая сложность анализа
2. Эффекты партий: значительные систематические различия в многоисточниковых, многопациентных сценариях
3. Требования к подготовке специалистов: традиционный анализ требует обширной профессиональной подготовки
4. Отсутствие специализированных инструментов ИИ: по сравнению с анализом лейкоцитов, анализ эритроцитов не имеет зрелых фундаментальных моделей

Исследовательская мотивация

Хотя фундаментальные модели продемонстрировали значительные преимущества в анализе лейкоцитов, эффективно предсказывая клинические результаты и решая проблемы эффектов партий, потенциал этих передовых технологий в области анализа эритроцитов еще не полностью исследован. Данное исследование направлено на заполнение этого пробела путем разработки фундаментальной модели, специально оптимизированной для анализа RBC.

Основные вклады

1. Специализированная фундаментальная модель: предложена RedDino, первое семейство самообучающихся фундаментальных моделей, оптимизированных специально для анализа RBC
2. Углубленное исследование конфигураций: проведен строгий сравнительный анализ конфигураций DINOv2 при моделировании морфологии RBC
3. Комплексная оценка производительности: обширное тестирование на нескольких наборах данных RBC, демонстрирующее превосходство над существующими передовыми моделями
4. Сильная способность к обобщению: эффективное смягчение вызовов, вызванных эффектами партий, демонстрирующее отличную кроссдоменную производительность

Подробное описание методологии

Определение задачи

RedDino предназначена для обучения универсальному представлению признаков RBC, поддерживающему нижестоящие задачи классификации формы RBC, обнаружения аномалий и морфологического анализа. Входными данными являются микроскопические изображения RBC, выходными данными — высокомерные векторы признаков, применимые к различным задачам анализа RBC.

Архитектура модели

Базовая структура

RedDino построена на основе структуры самообучения DINOv2, использующей Vision Transformer (ViT) в качестве основной сети. Семейство моделей включает три версии:

• RedDino Small: размерность признаков 384, размер партии 512, 22 миллиона параметров
• RedDino Base: размерность признаков 768, размер партии 384, 86 миллионов параметров
• RedDino Large: размерность признаков 1024, размер партии 256, 304 миллиона параметров

Ключевые технические улучшения

1. Удаление регуляризатора Koleo: исходный DINOv2 использует регуляризацию Koleo для предотвращения коллапса признаков, однако в контексте RBC из-за естественной согласованности формы и цвета эритроцитов этот регуляризатор чрезмерно подавляет выражение признаков патологических и аномальных RBC
2. Центрирование Sinkhorn-Knopp: замена центрирования скользящего среднего для повышения качества представления
3. Пользовательское расширение данных: замена исходного расширения DINOv2 на 32 пиксельных расширения из библиотеки Albumentations

Стратегия обработки данных

Построение обучающих данных

• Масштаб данных: 56 712 исходных изображений из 18 наборов данных, охватывающих более 420 индивидуумов
• Извлечение данных: применены два метода
  1. Сегментация клеток с использованием улучшенного CellPose, производящая 3 076 269 сегментированных клеток
  2. Извлечение неперекрывающихся блоков изображений размером 224×224 пикселя, генерирующее 1 250 781 блок изображения
• Балансировка данных: для смягчения естественного дисбаланса между эритроцитами и лейкоцитами включены наборы данных изображений лейкоцитов

Оптимизация стратегии обучения

Систематические эксперименты выявили:

1. Обучение на блоках изображений превосходит обучение на отдельных клетках
2. Удаление локальных обрезок значительно повышает производительность
3. Пользовательский конвейер расширения дополнительно повышает качество признаков

Экспериментальная установка

Наборы данных

Обучающие данные: 18 открытых наборов данных RBC, включающих различные режимы визуализации, разрешения и методы окрашивания Тестовые данные:

• Набор данных Elsafty: 240 000 изображений, 9 классов, из 4 различных источников
• Набор данных Chula: 20 875 изображений, 12 классов RBC
• Набор данных DSE: 5 659 изображений, 8 классов

Метрики оценки

• Точность (Acc)
• Сбалансированная точность (bAcc)
• Взвешенный F1-показатель (wF1)

Методы сравнения

• ResNet50
• DINOv2 (Small/Base/Large)
• DinoBloom (Small/Base/Large) — современный передовой экстрактор признаков для гематологических данных

Методы оценки

1. Линейное зондирование: оценка способности признаков адаптироваться к нижестоящим задачам
2. Классификация K ближайших соседей (1-NN, 20-NN): оценка робастности признаков при эффектах партий
3. Кроссисточниковая оценка: использование стратегии валидации с исключением одного источника
4. Пятикратная кроссвалидация: для несбалансированных наборов данных

Результаты экспериментов

Основные результаты

Кроссисточниковая оценка набора данных Elsafty

При наиболее сложной кроссисточниковой оценке RedDino достигает значительного преимущества:

Ключевые выводы:

• RedDino превосходит лучший базовый метод более чем на 2.1% (линейное зондирование) и на 3.0% (классификация по соседям)
• Средний прирост производительности составляет 4.0-6.5%, демонстрируя последовательное преимущество

Производительность на других наборах данных

При пятикратной кроссвалидации на наборах данных Chula и DSE RedDino также показывает отличные результаты, превосходя базовые методы практически по всем метрикам.

Абляционные исследования

Влияние ключевых улучшений конфигурации:

1. Удаление регуляризатора Koleo: значительно повышает производительность, предотвращая чрезмерное подавление признаков патологических RBC
2. Центрирование Sinkhorn-Knopp: замена центрирования скользящего среднего дополнительно повышает производительность
3. Блоки изображений vs обучение на отдельных клетках: стратегия обучения на блоках изображений превосходит обучение на отдельных клетках
4. Пользовательский конвейер расширения: явное улучшение по сравнению с исходной стратегией расширения DINOv2

Визуальный анализ

Визуализация PCA

Трехкомпонентная визуализация PCA подтверждает эффективность признаков RedDino:

• Способность различать фон, клетки, структуры мембран и паразитов
• Отличная способность различать аномальные морфологии, такие как инфицированные малярией RBC и шиповидные клетки

Визуализация UMAP

Проекция UMAP набора данных Elsafty показывает:

• Различные классы образуют четкие кластеры без явных эффектов партий
• Клинически трудноразличимые классы (такие как круглые RBC, эллиптоциты и т.д.) действительно перекрываются в пространстве признаков
• Скопления клеток образуют уникальные кластеры, подтверждая способность модели различать отдельные клетки и агрегаты

Связанные работы

Современное состояние гематологического анализа ИИ

• Анализ лейкоцитов: уже имеют зрелые фундаментальные модели, такие как DinoBloom, показывающие отличные результаты в предсказании клинических результатов
• Анализ эритроцитов: относительно отстает в развитии, не имеет специализированных фундаментальных моделей
• Компьютерная диагностика: постепенно становится важным инструментом для решения ключевых диагностических задач в гематологии

Применение самообучения в медицинской визуализации

Методы самообучения, такие как DINOv2, достигли огромного успеха на естественных изображениях, но их применение в медицинской визуализации, особенно в анализе RBC, еще требует полного исследования.

Заключение и обсуждение

Основные выводы

1. Прорыв в производительности: RedDino достигает новой передовой производительности в задачах классификации RBC
2. Сильная способность к обобщению: эффективно смягчает эффекты партий, показывая отличные результаты в кроссисточниковых сценариях
3. Высокая практическая ценность: предоставляет надежный базовый инструмент для автоматизированной гематологической диагностики

Ограничения

1. Ограничения обучающих данных: несмотря на большой масштаб набора данных, могут быть недостаточно представлены некоторые редкие морфологии RBC
2. Требования к вычислительным ресурсам: версии больших моделей требуют значительных вычислительных ресурсов
3. Зависимость от аннотированных данных: нижестоящие задачи по-прежнему требуют определенного объема аннотированных данных для тонкой настройки

Будущие направления

1. Расширение сценариев применения: исследование применения в других гематологических задачах
2. Сжатие модели: разработка более легких версий для адаптации к средам с ограниченными ресурсами
3. Мультимодальное слияние: объединение других типов медицинских данных для повышения точности диагностики

Глубокая оценка

Преимущества

1. Сильная целевая направленность проблемы: специально решает важную, но часто упускаемую область анализа RBC
2. Разумный дизайн методологии: целевые улучшения DINOv2 с учетом характеристик RBC
3. Строгий дизайн экспериментов: использование кроссисточниковой валидации и других строгих методов оценки для обеспечения надежности результатов
4. Большой вклад в наборы данных: построение крупнейшего на сегодняшний день набора обучающих изображений RBC
5. Дружественность к открытому исходному коду: предоставление полного кода и предварительно обученных моделей

Недостатки

1. Ограниченный теоретический анализ: недостаточное теоретическое объяснение того, почему удаление регуляризатора Koleo эффективно
2. Недостаточный анализ вычислительных затрат: отсутствует подробный анализ компромисса эффективности вычислений для различных версий моделей
3. Отсутствие клинической валидации: не хватает результатов валидации в реальной клинической среде

Влияние

1. Академическая ценность: предоставляет важный базовый инструмент и эталон для области анализа RBC
2. Практическая ценность: имеет потенциал значительно повысить уровень автоматизации гематологической диагностики
3. Воспроизводимость: предоставляет полную реализацию с открытым исходным кодом, облегчая использование и улучшение исследовательским сообществом

Применимые сценарии

• Вспомогательная диагностика гематологических заболеваний
• Крупномасштабный скрининг крови
• Исследование морфологии эритроцитов
• Разработка инструментов обучения гематологии

Резюме технических инноваций

Основная инновация RedDino заключается в успешной адаптации универсальной структуры самообучения к специализированной медицинской области путем удаления неподходящих ограничений регуляризации и оптимизации стратегии обучения, достигая значительного повышения производительности. Это предоставляет ценный справочный материал для разработки фундаментальных моделей для других задач анализа медицинских изображений.

Заявление об экологическом воздействии: В статье сообщается об объеме выбросов углерода в экспериментах, составляющем 4,15 кг CO2eq, что отражает внимание к экологической ответственности.