Evidence Without Injustice: A New Counterfactual Test for Fair Algorithms
Loi, Di Bello, Cangiotti
The growing philosophical literature on algorithmic fairness has examined statistical criteria such as equalized odds and calibration, causal and counterfactual approaches, and the role of structural and compounding injustices. Yet an important dimension has been overlooked: whether the evidential value of an algorithmic output itself depends on structural injustice. Our paradigmatic pair of examples contrasts a predictive policing algorithm, which relies on historical crime data, with a camera-based system that records ongoing offenses, both designed to guide police deployment. In evaluating the moral acceptability of acting on a piece of evidence, we must ask not only whether the evidence is probative in the actual world, but also whether it would remain probative in nearby worlds without the relevant injustices. The predictive policing algorithm fails this test, but the camera-based system passes it. When evidence fails the test, it is morally problematic to use it punitively, more so than evidence that passes the test.
academic
Evidenza Senza Ingiustizia: Un Nuovo Test Contraffattuale per Algoritmi Equi
Questo articolo esamina una dimensione trascurata ma cruciale dell'equità algoritmica: se il valore probatorio dell'output algoritmico stesso dipende dall'ingiustizia strutturale. Gli autori, confrontando due casi di algoritmi per il policing—sistemi di policing predittivo basati su dati storici di criminalità e sistemi basati su registrazioni video di crimini in corso—propongono un nuovo standard di valutazione morale. Questo standard richiede di considerare non solo se l'evidenza possiede forza probatoria nel mondo reale, ma anche se mantiene tale forza in mondi possibili vicini privi dell'ingiustizia rilevante. Il policing predittivo non supera questo test, mentre i sistemi basati su telecamere sì.
La ricerca esistente sull'equità algoritmica si concentra principalmente su standard statistici (come l'uguaglianza delle probabilità, la calibrazione), metodi causali e contraffattuali, e il ruolo dell'ingiustizia strutturale e composita, ma trascura una dimensione critica: se il valore probatorio dell'output algoritmico stesso dipende dall'ingiustizia strutturale.
Divergenza di Intuizioni Morali: Sebbene entrambi gli algoritmi di policing producano impatti sproporzionati sulle comunità minoritarie, le persone hanno intuizioni diverse sulla loro accettabilità morale
Lacuna Teorica: Le teorie di equità esistenti non riescono a spiegare perché gli algoritmi basati su telecamere siano moralmente più accettabili del policing predittivo
Esigenze di Applicazione Pratica: È necessario un quadro più sofisticato per guidare l'uso di algoritmi in settori sensibili come la giustizia penale e l'assistenza sanitaria
Standard Statistici: Non riescono a catturare le differenze morali tra i due algoritmi, poiché entrambi producono tassi di errore diversi tra gruppi razziali
Approcci Causali: Trattano la razza come una variabile discreta manipolabile, ignorando l'incorporazione della razza in fenomeni strutturali complessi
Teoria dell'Ingiustizia Composita: Si applica ugualmente a entrambi gli algoritmi, non riuscendo a distinguere le loro differenze morali
Propone il Principio di Indipendenza Contraffattuale (CIP): Un nuovo quadro di valutazione morale per determinare l'accettabilità degli algoritmi basati su evidenza
Stabilisce il Metodo di Test CIP: Passaggi sistematici per valutare se l'evidenza mantiene forza probatoria in mondi privi di ingiustizia strutturale
Fornisce Guida Applicativa Interdisciplinare: Applica il principio ai settori della giustizia penale e dell'assistenza sanitaria, dimostrando l'utilità pratica
Distingue Applicazioni Punitive e di Supporto: Fornisce guida morale differenziata per diversi tipi di applicazioni algoritmiche
Per l'evidenza E riguardante un risultato O (come la localizzazione del crimine), verificare se E mantiene valore probatorio rispetto a O in mondi possibili vicini privi dell'ingiustizia strutturale rilevante. Se sì, E supera il test; altrimenti fallisce.
Se E supera il test CIP è una considerazione moralmente rilevante per determinare il suo uso a valle accettabile. Per l'uso punitivo dell'evidenza (come il dispiegamento di polizia o la restrizione della libertà individuale), si dovrebbe essere più cauti quando l'evidenza non supera il test CIP rispetto a quando lo supera.
Identificazione del Meccanismo: Determinare il meccanismo che rende l'evidenza E rilevante per il risultato O
Giudizio di Ingiustizia: Determinare se tale meccanismo fa parte dell'ingiustizia strutturale
Valutazione del Mondo Contraffattuale: Se sì, valutare il mondo contraffattuale vicino in cui il meccanismo ingiusto è rimosso, chiedendosi se il collegamento dell'evidenza rimane valido
Conclusione: Se rimane valido, E supera il test CIP; altrimenti fallisce
Campioni di DNA, impronte digitali, registrazioni video: Superano il test CIP, poiché il loro valore probatorio si basa su un collegamento causale con il crimine, non dipende da condizioni sociali ingiuste
Evidenza di carattere e storia criminale: Potrebbero non superare il test se il loro valore predittivo dipende dall'ambiente criminale causato dall'ingiustizia strutturale
Algoritmi di corrispondenza del DNA, autenticazione di registrazioni di sorveglianza: Superano il test CIP
Sistemi di policing predittivo come PredPol, HunchLab: Non superano il test, poiché dipendono dall'aggregazione dello spazio criminale causata dall'ingiustizia strutturale
Strumenti predittivi basati sulla rivittimizzazione immediata: Potrebbero superare il test
Spiegazione delle Differenze Morali: Il CIP spiega con successo perché gli algoritmi basati su telecamere sono moralmente più accettabili del policing predittivo
Applicabilità Interdisciplinare: Il principio dimostra valore pratico sia nel settore della giustizia penale che in quello dell'assistenza sanitaria
Distinzione dei Tipi di Applicazione: Le applicazioni punitive rispetto a quelle di supporto richiedono considerazioni morali diverse
Applicazioni Punitive: L'evidenza che non supera il test CIP dovrebbe essere utilizzata con cautela
Applicazioni di Supporto: Il mancato superamento del test CIP fornisce invece una ragione aggiuntiva per utilizzare l'evidenza per interventi rimediali
I dati storici di criminalità possono essere utilizzati per interventi di supporto: miglioramento dell'illuminazione stradale, programmi di mediazione comunitaria
Piuttosto che solo per misure punitive: aumento delle pattuglie, espansione delle perquisizioni di fermata
Il CIP Fornisce una Nuova Dimensione di Valutazione Morale: Integra le teorie di equità algoritmica esistenti
Lo Status Morale dell'Evidenza Conta: Non si deve considerare solo la performance statistica dell'algoritmo, ma anche l'accettabilità morale della sua base di evidenza
Il Tipo di Applicazione Determina i Requisiti Morali: Le applicazioni punitive e di supporto richiedono standard morali diversi
Sfide Epistemologiche del Ragionamento Contraffattuale: La valutazione di mondi privi di ingiustizia strutturale richiede una teoria causale solida
Difficoltà nell'Identificazione di Meccanismi Causali Complessi: In pratica potrebbe essere difficile identificare accuratamente tutti i meccanismi causali rilevanti
Ambiguità dei Confini Applicativi: Il confine tra applicazioni punitive e di supporto potrebbe non essere chiaro in alcuni casi
Questo articolo cita importanti letteratura da più campi, inclusa l'equità algoritmica, l'ingiustizia strutturale, e la teoria dell'evidenza, tra cui:
Equità Algoritmica: Equità contraffattuale di Kusner et al. (2017), equità specifica del percorso di Chiappa & Gillam (2018)
Ingiustizia Strutturale: Teoria dell'ingiustizia strutturale di Young (2011), ingiustizia composita di Hellman (2023)
Ricerca Empirica: Ampia ricerca empirica sugli effetti delle politiche di redlining, segregazione razziale su criminalità e salute
Teoria Legale: Letteratura correlata sull'uso dell'evidenza statistica nei procedimenti legali
Questo articolo fornisce un importante contributo teorico alla ricerca sull'equità algoritmica. Il Principio di Indipendenza Contraffattuale proposto non solo possiede profonde intuizioni filosofiche, ma anche significativo valore pratico. Sebbene affronti ancora sfide nell'operazionalizzazione, indica una direzione importante per lo sviluppo futuro del campo.