Создание, критика и потребление: изучение описаний, созданных генеративным ИИ, для поддержки слепых и слабовидящих профессионалов при выполнении визуальных задач

Основная информация

• ID статьи: 2510.08991
• Название: Creation, Critique, and Consumption: Exploring Generative AI Descriptions for Supporting Blind and Low Vision Professionals with Visual Tasks
• Авторы: Lucy Jiang, Lotus Zhang, Leah Findlater (Университет Вашингтона)
• Классификация: cs.HC (Взаимодействие человека и компьютера)
• Дата публикации/конференция: ASSETS '25 Workshop: AT @ Work, Virtual 2025
• Ссылка на статью: https://arxiv.org/abs/2510.08991

Аннотация

Многие слепые и слабовидящие (ССВ) люди исключены из профессиональных ролей, связанных с визуальными задачами, из-за барьеров доступности и сохраняющихся предубеждений. Передовые системы генеративного ИИ могут поддерживать ССВ людей, предоставляя контекстуализированные и персонализированные визуальные описания для создания, критики и потребления контента. В этой статье для семинара авторы предоставляют рекомендации по проектированию для лучшего предоставления контекстуализированных визуальных описаний для различных профессиональных задач и обсуждают, как эти проекты могут со временем улучшить автономность, инклюзивность и развитие навыков.

Исследовательский контекст и мотивация

Проблемный фон

1. Серьёзный разрыв в занятости: уровень занятости людей с инвалидностью составляет примерно одну треть от уровня занятости людей без инвалидности, при этом ССВ люди сталкиваются с особенно острыми препятствиями на рынке труда
2. Визуальные задачи как профессиональный барьер: современный рабочий процесс включает множество задач, связанных с визуальной коммуникацией (создание слайдов, форматирование документов, фотография, просмотр обучающих видео и т.д.), которые становятся основным препятствием для ССВ профессионалов
3. Ограничения традиционных вспомогательных технологий: существующие решения для обеспечения доступности в основном ограничиваются предоставлением базовой визуальной информации, а не обеспечением полного участия на рабочем месте

Исследовательская мотивация

• Быстрое развитие технологии генеративного ИИ создаёт новые возможности для предоставления контекстуализированных и персонализированных визуальных описаний
• Необходимость выйти за рамки базового доступа к информации и поддержать полное участие ССВ профессионалов в задачах визуальной коммуникации
• Преодоление барьеров на рынке труда посредством технологических инноваций и повышение инклюзивности рабочего места для ССВ людей

Основные вклады

1. Предложена концептуальная рамка для проектирования специализированных систем визуальных описаний: предоставление контекстуализированных и персонализированных услуг описания ИИ для различных профессиональных сценариев
2. Разработаны два конкретных сценария применения: видеопроизводство независимого создателя контента и создание маркетинговых материалов в крупном рекламном агентстве
3. Предоставлены систематические рекомендации по проектированию: охватывающие поддержку визуальных задач по трём измерениям — создание, критика и потребление
4. Описаны механизмы долгосрочного воздействия: анализ того, как эти проекты могут улучшить автономность, инклюзивность и развитие навыков ССВ профессионалов

Подробное описание методологии

Определение задач

Данное исследование сосредоточено на проектировании систем описания визуального контента на основе генеративного ИИ для поддержки ССВ профессионалов, охватывающих три основных измерения задач:

• Создание (Creation): помощь ССВ людям в создании визуального контента
• Критика (Critique): поддержка оценки и обратной связи по визуальным работам
• Потребление (Consumption): помощь в понимании и обработке визуальной информации

Концептуальная рамка проектирования

Сценарий 1: видеопроизводство независимого создателя контента

Анализ основных потребностей:

• Сложность выявления визуальных тенденций
• Вызовы при композиции кадра и позиционировании объекта
• Необходимость проверки визуальных эффектов при постпроизводстве

Проектирование системы описания ИИ:

1. Поддержка выявления тенденций: описание распространённых визуальных элементов, сопровождающих популярные звуковые дорожки (жесты, текст на экране и т.д.)
2. Помощь при съёмке:
   • Обеспечение идеального позиционирования объекта съёмки в кадре
   • Предоставление подробных описаний контента для поддержки художественной композиции
3. Улучшение процесса редактирования:
   • Описание цветовой температуры видео
   • Оценка точности фильтров и спецэффектов
   • Предоставление художественной информации, выходящей за рамки редактирования контента

Сценарий 2: создание маркетинговых материалов в крупном рекламном агентстве

Основные вызовы:

• Сложность совместных рабочих процессов
• Потребность в производстве контента в различных форматах
• Требования к быстрой итерации и синхронной совместной работе
• Соблюдение строгих руководящих принципов бренда

Проектирование системы описания ИИ:

1. Поддержка согласованности бренда:
   • Точное описание руководящих принципов бренда
   • Точное описание цветов для обеспечения представительности бренда
2. Улучшение командной совместной работы:
   • Описание общей картины (общий визуальный вид)
   • Описание на уровне объектов (например, группы стикеров)
   • Отслеживание позиции курсора сотрудников (в качестве агента визуального фокуса)

Технологические инновации

1. Контекстно-зависимые описания: адаптация содержания и уровня детализации описаний к конкретным профессиональным задачам
2. Многоуровневая архитектура информации: предоставление иерархической визуальной информации от макро- к микроуровню
3. Поддержка синхронной совместной работы: интеграция динамической визуальной обратной связи в командные рабочие процессы
4. Персонализированная адаптация: корректировка стратегий описания на основе роли пользователя и типа задачи

Экспериментальная установка

Примечание: данная статья является работой для семинара, в основном предоставляющей рекомендации по проектированию и концептуальную рамку, без традиционной экспериментальной установки и результатов.

Теоретическая основа

• Анализ проблем, с которыми сталкиваются ССВ создатели контента, на основе существующей литературы
• Ссылка на исследования систем вспомогательного редактирования видео (например, система текстового редактирования видео Huh и др.)
• Интеграция соответствующих работ по доступности цифрового графического дизайна

Методы проверки проектирования

• Проверка универсальности проблемы посредством обзора литературы
• Анализ требований к проектированию на основе ограничений существующих систем
• Использование успешных примеров в смежных областях для вдохновения при проектировании

Связанные работы

Вспомогательные технологии для создания визуального контента

1. EditScribe от Chang и др.: использование циклов проверки на естественном языке для поддержки ССВ людей при невизуальном редактировании изображений
2. AVScript от Huh и др.: система текстового редактирования видео, интегрирующая визуальные описания и речь
3. A11yboard от Zhang и др.: исследование доступности цифровых досок для рисования

Участие ССВ людей в цифровом контенте

1. Участие в социальных сетях: ежедневное общение и участие в экономике создания контента ССВ создателей на видеоплатформах
2. Исследования барьеров доступности: трудности при создании визуально привлекательного контента, проблемы с проверкой функций фильтров, вызовы при отслеживании тенденций

Совместная работа с различными возможностями

1. Инструменты синхронной совместной работы: улучшение совместной работы с различными возможностями в текстовых редакторах и программном обеспечении для презентаций
2. Доступность совместной среды: обеспечение доступности визуально ориентированной совместной деятельности (создание макетов, обсуждение на доске)

Заключение и обсуждение

Основные выводы

1. Переопределение визуальной грамотности: ССВ люди обладают глубоким пониманием визуального, и технология должна поддерживать и расширять, а не предполагать его отсутствие
2. Систематическое улучшение инклюзивности на рабочем месте: посредством технологических инноваций можно постепенно снизить предубеждения и улучшить автономность, инклюзивность и развитие навыков ССВ людей
3. Важность персонализированных описаний: различные профессиональные сценарии требуют адаптированных стратегий визуального описания

Механизмы долгосрочного воздействия

Со ссылкой на точку зрения Georgina Kleege: "В среднем полностью слепой от рождения человек понимает, что означает зрение, намного лучше, чем среднестатистический зрячий человек понимает, что означает слепота."

Ожидаемые эффекты:

• Повышение автономности: снижение зависимости от помощи других людей
• Улучшение инклюзивности: содействие более инклюзивным практикам проектирования и культуре на рабочем месте
• Развитие навыков: поддержка демонстрации творческих способностей ССВ профессионалами

Углубленная оценка

Преимущества

1. Сильная проблемная ориентация: непосредственное решение основных барьеров для участия ССВ людей на рабочем месте
2. Инновационный подход к проектированию: предложение концепции контекстуализированной и персонализированной системы описания ИИ
3. Высокая практическая ценность: предоставление конкретных, действенных рекомендаций по проектированию
4. Прочная теоретическая основа: достаточное цитирование соответствующей литературы и убедительные аргументы
5. Значительная социальная ценность: внимание к правам на равное участие в трудовой деятельности уязвимых групп населения

Недостатки

1. Отсутствие эмпирической проверки: как концептуальная работа, не содержит пользовательских исследований и оценки системы
2. Недостаточно деталей технической реализации: ограниченное описание конкретной технической архитектуры системы ИИ
3. Отсутствие анализа масштабируемости: недостаточное обсуждение применимости рекомендаций по проектированию в других профессиональных сценариях
4. Отсутствие анализа затрат и выгод: отсутствие рассмотрения фактических затрат на разработку и развёртывание системы

Влияние

1. Академический вклад: предоставление новых идей проектирования для исследований в области технологий доступности
2. Практическое руководство: предоставление конкретного руководства по проектированию для разработчиков соответствующих технологий
3. Политическое вдохновение: возможное влияние на разработку политики доступности на рабочем месте
4. Социальная ценность: содействие переоценке обществом профессиональных способностей ССВ людей

Применимые сценарии

1. Индустрия создания контента: видеопроизводство, графический дизайн, маркетинговая креативность и другие области
2. Среда совместной работы: сценарии командной работы, требующие синхронной визуальной совместной работы
3. Образование и обучение: обучение визуальным навыкам и поддержка профессионального развития
4. Разработка технологий: разработка инструментов на основе ИИ и продуктов технологий доступности

Направления будущих исследований

1. Пользовательские исследования: глубокое понимание конкретных потребностей ССВ профессионалов в различных профессиях
2. Техническая реализация: разработка прототипных систем и проверка технической осуществимости
3. Оценка эффективности: разработка системы показателей оценки и проверка влияния системы на производительность и удовлетворённость пользователей
4. Расширение между областями: изучение применимости принципов проектирования в других профессиональных областях
5. Этические соображения: исследование возможных предубеждений и проблем конфиденциальности, связанных с системами описания ИИ

Резюме: данная статья предлагает важное и перспективное направление исследований, предоставляя лучшую поддержку на рабочем месте ССВ профессионалам посредством технологии генеративного ИИ. Хотя как концептуальное исследование она не содержит эмпирической проверки, её подход к проектированию и социальная ценность заслуживают дальнейшего углубленного исследования и практического применения.