Проблема начального порядка скрининга

Основная информация

• ID статьи: 2307.15398
• Название: The Initial Screening Order Problem
• Авторы: Jose M. Alvarez (KU Leuven), Antonio Mastropietro (University of Pisa), Salvatore Ruggieri (University of Pisa)
• Классификация: cs.LG cs.CY
• Дата публикации: июль 2023 г. (препринт arXiv, обновлено в январе 2025 г.)
• Ссылка на статью: https://arxiv.org/abs/2307.15398

Аннотация

В данной работе исследуется роль начального порядка скрининга (Initial Screening Order, ISO) при отборе кандидатов. ISO определяется как порядок, в котором скринер просматривает пул кандидатов при выборе k кандидатов. В настоящее время ISO обычно генерируется системами доступа к информации (например, онлайн-платформами или запросами к базам данных). Несмотря на значительное влияние ISO на оптимальность и справедливость выбранных k кандидатов (особенно в случае человеческих скринеров), этот аспект в значительной степени игнорируется в литературе. Авторы определяют две формулировки проблемы для описания поведения скринера при поиске при заданном ISO: задача best-k (выбор k лучших кандидатов) и задача good-k (выбор k достаточно хороших кандидатов). Для исследования влияния ISO авторы вводят модель человеческого скринера и сравнивают её с алгоритмическим скринером, где человеческий скринер спроектирован как непоследовательный во времени. Анализ показывает, что при решении задачи good-k человеческим скринером ISO препятствует индивидуальной справедливости (хотя удовлетворяет групповой справедливости) и снижает оптимальность выбранных k кандидатов. Это вызвано смещением позиции, то есть влиянием позиции кандидата в ISO на его оценку.

Исследовательский контекст и мотивация

Предпосылки проблемы

Отбор кандидатов — это сложная, зависящая от человека задача, широко распространённая в таких сценариях, как просмотр резюме и поступление в университеты. С развитием машинного обучения системы доступа к информации (IAS), такие как LinkedIn и Taleo, играют центральную роль в отборе кандидатов, обычно представляя кандидатов в соответствии с предполагаемой релевантностью или конкретными характеристиками.

Исследовательская мотивация

1. Практические требования: На основе опыта сотрудничества с компанией G (входящей в глобальный список Fortune 500 в Европе) авторы выявили пять ключевых практических закономерностей:
   • G1: скринеры выбирают различные ISO
   • G2: существуют полный и частичный поиск
   • G3: внимание сосредоточено на кандидатах, соответствующих минимальным базовым требованиям
   • G4: наличие целей справедливости с квотами представительства разнообразия
   • G5: время оценки каждого кандидата составляет примерно одну минуту
2. Теоретический пробел: Существующая литература в основном сосредоточена на создании ISO (как задача справедливого выбора множества или ранжирования), но мало исследует, как скринеры используют ISO, особенно поведение человеческих скринеров.
3. Озабоченность справедливостью: Смещение позиции может привести к тому, что похожие кандидаты будут рассматриваться по-разному в зависимости от их положения в ISO, нарушая принцип индивидуальной справедливости.

Основные вклады

1. Первая формализация проблемы ISO: Определение ISO как ключевого параметра в задаче выбора множества с формулировками для best-k и good-k поведения при поиске.
2. Введение модели человеческого скринера: Предложение модели человеческого скринера с учётом эффектов усталости и теоретическое и экспериментальное сравнение с алгоритмическим скринером.
3. Предоставление гибкого инструмента моделирования: Разработка фреймворка моделирования для исследования проблемы ISO, предоставляющего рекомендации практикам без необходимости проведения реальных сценариев скрининга.
4. Выявление влияния смещения позиции на справедливость: Демонстрация того, что ISO приводит к нарушению индивидуальной справедливости при использовании человеческим скринером, одновременно удовлетворяя ограничениям групповой справедливости.

Подробное описание методов

Определение задачи

Дан пул кандидатов C, содержащий n кандидатов, где каждый кандидат c описывается вектором признаков X_c ∈ R^d и защищённым атрибутом w_c. Скринер h должен выбрать множество S^k из k кандидатов на основе ISO θ, удовлетворяя квоте представительства q (минимальная доля защищённой группы в S^k).

Две формулировки проблемы

Задача best-k

Скринер должен оценить полный пул кандидатов и выбрать k кандидатов с наивысшими баллами:

argmax_{S^k ∈ [C]^k} U^k_add(S^k, θ) s.t. f(S^k) ≥ q

где функция полезности определяется как:

U^k_add(S^k, θ) = Σ_{c∈S^k} s(X_c)

Задача good-k

Скринер ищет первых k кандидатов, удовлетворяющих минимальному требованию ψ, допуская частичный поиск:

argmax_{S^k ∈ [C]^k} U^k_ψ(S^k, θ) s.t. f(S^k) ≥ q

где функция полезности определяется как:

U^k_ψ(S^k, θ) = {
  k - Σ_{c∈S^k} p(c, S^k, θ)  если ∀c ∈ S^k, s(X_c) ≥ ψ
  0                            иначе
}

Функция штрафа p(c, S^k, θ) измеряет "потраченные впустую усилия" при выборе кандидата c.

Модели скринеров

Алгоритмический скринер h_a

Последовательно оценивает кандидатов без эффектов усталости, выполняя детерминированный алгоритм.

Человеческий скринер h_h

Вводит компонент усталости Φ(t) = λ·t, влияющий на оценку кандидата:

s_h_h(X_c) + ε

где ε — случайная переменная, зависящая от накопленной усталости, с двумя вариантами моделирования:

• ε₁ ~ N(0, v(Φ(t-1))): дисперсия увеличивается с усталостью
• ε₂ ~ N(μ(Φ(t-1)), v(Φ(t-1))): среднее значение уменьшается с усталостью

Алгоритмы поиска

• ExaminationSearch (алгоритм 1): решение задачи best-k, поиск в порядке убывания баллов
• CascadeSearch (алгоритм 2): решение задачи good-k, поиск в порядке ISO
• Соответствующие версии для человеческого скринера (алгоритмы 3-4): с включением эффектов усталости

Экспериментальная установка

Фреймворк моделирования

Использован фреймворк моделирования Монте-Карло, разработанный на языке R, с 10 000 экспериментов для каждого набора параметров.

Распределение баллов кандидатов

Рассмотрены три усечённых нормальных распределения t_N(μ, σ):

• Симметричное распределение: μ=0,5, σ=0,02 (низкая вероятность топ-кандидатов)
• Асимметричное распределение: μ=0,8, σ=0,05 (средняя вероятность топ-кандидатов)
• Возрастающее распределение: μ=1, σ=0,05 (высокая вероятность топ-кандидатов)

Параметры ISO

• θ ⊥⊥ s: ISO независим от индивидуальных баллов (случайный или алфавитный порядок)
• θ ⊥̸⊥ s: ISO коррелирует с баллами, коэффициент корреляции ρ ∈ {-1, -0,8, -0,5}

Параметры экспериментов

• Размер пула кандидатов: n = 120, 400, 30
• Количество выбираемых: k = 6, 20
• Квота: q = 0,5
• Доля защищённой группы: pr = 0,2
• Минимальное требование: ψ ∈ 0,3, 0,8

Метрики оценки

• Базовый коэффициент (RtB): отношение полезности к базовому решению
• Сходство Жаккара (JdS): доля перекрытия кандидатов

Результаты экспериментов

Случай без усталости (алгоритмический скринер)

Производительность good-k vs best-k

1. Влияние распределения баллов:
   • При симметричном распределении good-k постепенно приближается к best-k с увеличением ψ
   • При асимметричном и возрастающем распределениях good-k с трудом достигает производительности best-k даже при большом ψ
2. Влияние корреляции ISO:
   • При ρ = -1 (полная отрицательная корреляция) производительность good-k и best-k одинакова
   • При ρ = -0,5 good-k уже хорошо аппроксимирует best-k
3. Эффект масштаба:
   • Больший коэффициент k/n позволяет good-k лучше аппроксимировать best-k
   • Влияние ISO ослабевает с увеличением k/n

Случай с усталостью (человеческий скринер)

Влияние усталости на good-k

1. Усталость типа дисперсии (ε₁):
   • Значительное снижение производительности при симметричном распределении и высоких значениях ψ
   • Относительная стабильность при асимметричном и возрастающем распределениях
2. Усталость типа смещения (ε₂):
   • Меньшее влияние на симметричное распределение из-за меньшего стандартного отклонения
   • Незначительное влияние смещения при низком качестве кандидатов

Best-k vs good-k с усталостью

• При наличии усталости решение good-k иногда превосходит best-k
• Указывает на вредность чрезмерно длительного поиска для человеческого скринера
• В некоторых условиях следует отдавать предпочтение стратегии good-k

Защитное действие корреляции ISO

• Предоставление ISO, содержащего информацию о качестве кандидатов, снижает влияние усталости
• Подчёркивает важность роли IAS в проблеме ISO

Связанные работы

Справедливый выбор множества

Данная работа относится к литературе по справедливому выбору множества и связана с задачей о секретаре (Secretary Problem), но сосредоточена на процессе скрининга, а не на этапе интервью, используя автономную установку выбора множества.

Исследования смещения позиции

• Модели кликов: первые формализации и тестирование того, как пользователи просматривают ISO
• Эмпирические исследования: Echterhoff и др., Wang и др. предоставили эмпирические доказательства смещения позиции при отборе кандидатов
• Вклад данной работы: определение ISO как параметра в формулировке проблемы, использование моделирования для захвата множества сценариев скрининга

Системы доступа к информации

Существующие работы в основном сосредоточены на создании ISO (справедливое ранжирование), данная работа сосредоточена на том, как скринеры используют ISO, особенно поведение человеческих пользователей.

Заключение и обсуждение

Основные выводы

1. Влияние смещения позиции на справедливость: ISO приводит к нарушению индивидуальной справедливости при использовании человеческим скринером, даже при удовлетворении ограничений групповой справедливости.
2. Важность формулировки проблемы: Правильное определение формулировки проблемы имеет решающее значение для понимания влияния ISO на выбор кандидатов.
3. Сложность поведения скринера: Существует сложная связь между задачами best-k и good-k, зависящая от распределения качества кандидатов, корреляции ISO и эффектов усталости.

Ограничения

1. Ограничения функциональных предположений: Функциональные предположения модели полезности и члена усталости могут быть чрезмерно упрощены
2. Моделирование усталости: Линейное накопление усталости может быть недостаточно реалистичным
3. Моделирование vs реальность: Результаты моделирования требуют проверки в реальных сценариях

Направления будущих исследований

1. Альтернативные модели полезности: Исследование других моделей полезности, таких как exposure discounting
2. Продвинутые модели усталости: Рассмотрение циклических моделей выживания с учётом отдыха скринеров
3. Теория принятия решений человеком: Интеграция большего количества теорий принятия решений человеком
4. Оптимизация параметров: Использование фреймворка моделирования для тестирования оптимальных параметров

Глубокая оценка

Преимущества

1. Важность проблемы: Первое систематическое исследование игнорируемой, но важной проблемы ISO
2. Теоретический вклад: Предоставление строгого математического фреймворка и реализации алгоритмов
3. Практическая релевантность: Основано на инсайтах из реального сотрудничества с предприятиями, имеет практическую ценность применения
4. Методологическое инновация: Введение модели человеческого скринера с учётом эффектов усталости
5. Полнота экспериментов: Исследование множества комбинаций параметров через крупномасштабное моделирование
6. Вклад инструмента: Предоставление открытого фреймворка моделирования

Недостатки

1. Упрощение модели: Модель усталости относительно простая, может не захватить сложное человеческое поведение
2. Недостаточная проверка: В основном основано на моделировании, отсутствует проверка на крупномасштабных реальных данных
3. Ограничения предположений: Предположения независимости (A1, A2) могут не выполняться в реальности
4. Ограниченность метрик оценки: Основное внимание на полезности и перекрытии, отсутствие других метрик справедливости

Влияние

1. Академическая ценность: Предоставление новой перспективы для области справедливого машинного обучения и взаимодействия человека и машины
2. Практическая ценность: Предоставление рекомендаций для проектирования платформ найма и систем управления персоналом
3. Методологический вклад: Расширяемость фреймворка моделирования на другие сценарии принятия решений
4. Политическое значение: Предоставление инструментов для аудита алгоритмов и регулирования справедливости

Применимые сценарии

1. Отбор при найме: Просмотр резюме, оценка кандидатов
2. Образовательная оценка: Проверка заявок, оценка работ
3. Системы рекомендаций: Справедливые рекомендации с учётом поведения пользователя при поиске
4. Поддержка принятия решений: Любые сценарии, включающие последовательную оценку

Технические инновационные моменты

Основные инновации

1. Параметризация ISO: Определение начального порядка скрининга как явного параметра проблемы
2. Двойная формулировка проблемы: Различие между best-k (глобальная оптимальность) и good-k (удовлетворение условиям) целями
3. Моделирование усталости: Введение модели оценочной ошибки, зависящей от времени
4. Анализ справедливости: Различие между групповой и индивидуальной справедливостью в их проявлениях

Проектирование алгоритмов

Алгоритмы ExaminationSearch и CascadeSearch спроектированы искусно:

• Последовательная обработка гарантирует влияние ISO
• Управление квотой обеспечивает ограничения справедливости
• Версия для человеческого скринера естественно интегрирует эффекты усталости

Проектирование экспериментов

Проектирование фреймворка моделирования тщательно продумано:

• Множество распределений баллов моделируют различные сценарии качества кандидатов
• Параметры корреляции ISO контролируют качество информационной системы
• Крупномасштабные повторные эксперименты обеспечивают стабильность результатов

Данная работа предоставляет важный теоретический фундамент и практические инструменты для понимания и улучшения систем отбора кандидатов, имеющие значительное значение для построения более справедливых и эффективных систем поддержки принятия решений на основе искусственного интеллекта.