Conversational AI (CAI) systems offer opportunities to scale service provision to unprecedented levels and governments and corporations are already beginning to deploy them across services. The economic argument is similar across domains: use CAI to automate the time-consuming conversations required for customer, client or patient support. Herein we draw on our work in dementia care to explore some of the challenges and opportunities for CAI, and how a new way of conceptualising these systems could help ensure essential aspects for human thriving are not lost in the process of automation.
- ID Articolo: 2510.09516
- Titolo: Convivial Conversational Agents -- shifting toward relationships
- Autori: Rafael A. Calvo (Imperial College London), Dorian Peters (University of Cambridge)
- Classificazione: cs.HC (Interazione Uomo-Computer)
- Data di Pubblicazione: 2025
- Link Articolo: https://arxiv.org/abs/2510.09516
I sistemi di intelligenza artificiale conversazionale (CAI) offrono opportunità senza precedenti per l'espansione della fornitura di servizi, e governi e aziende hanno iniziato a distribuire questi sistemi in vari servizi. L'argomento economico è simile in tutti i settori: utilizzare la CAI per automatizzare i dialoghi dispendiosi in termini di tempo necessari per il supporto ai clienti, ai pazienti o ai beneficiari. Basandosi sul lavoro degli autori nel campo dell'assistenza alla demenza, questo articolo esplora le sfide e le opportunità della CAI, e come garantire attraverso una nuova concettualizzazione che gli elementi essenziali della prosperità umana non vadano persi nel processo di automazione.
Il problema fondamentale che questa ricerca affronta è: come mantenere la qualità delle relazioni interpersonali e l'autonomia umana durante il dispiegamento su larga scala dei sistemi di intelligenza artificiale conversazionale. Ciò si manifesta concretamente in:
- Squilibrio tra domanda e offerta di servizi: la domanda globale di servizi sanitari supera di gran lunga l'offerta disponibile, in particolare nel settore dell'assistenza alla demenza
- Impatto sociale dell'automazione: la CAI come agente sociale può influenzare le reti di relazioni interpersonali esistenti
- Effetti negativi a livello sistemico: l'ottimizzazione tecnologica a livello individuale può causare danni a livello relazionale o collettivo
L'importanza di questo problema si manifesta su più livelli:
- Urgenza su scala globale: nel Regno Unito ci sono quasi un milione di pazienti affetti da demenza, negli Stati Uniti si registrano un milione di nuovi casi all'anno
- Realtà economica: il modello tradizionale di assistenza richiederebbe 25.000 operatori di caso, economicamente non fattibile
- Responsabilità sociale: l'automazione tecnologica può portare a distacco interpersonale e dissoluzione della comunità
- La maggior parte dei progetti CAI si concentra sull'esperienza dell'utente individuale, trascurando gli impatti relazionali a livello sistemico
- Manca una comprensione approfondita di come gli agenti conversazionali modifichino le dinamiche relazionali interpersonali esistenti
- La ricerca tradizionale in HCI manca di un quadro analitico a livello collettivo
- Introduzione del concetto di "Convivialità": applicazione della teoria degli strumenti conviviali di Ivan Illich al design moderno dell'intelligenza artificiale conversazionale
- Proposta di un paradigma di design incentrato sulle relazioni: passaggio dall'esperienza dell'utente individuale alla valutazione degli impatti a livello relazionale e comunitario
- Costruzione di un ponte tra teoria e pratica: utilizzo della Teoria dell'Autodeterminazione (SDT) come base empirica per operazionalizzare il concetto di convivialità
- Fornitura di raccomandazioni di design specifiche: quattro raccomandazioni chiave per guidare il design e la valutazione degli agenti conversazionali conviviali
Basandosi sulla teoria di Illich, gli autori definiscono la convivialità come tre elementi interconnessi:
- Coesistenza Tollerante: la capacità di vivere insieme efficacemente
- Autonomia: mantenimento del diritto all'autodeterminazione individuale, evitando la "schiavitù"
- Relazionalità: riconoscimento della realtà e dell'importanza delle relazioni e dell'interdipendenza
Gli autori collegano i tre bisogni psicologici fondamentali della SDT al concetto di convivialità:
- Autonomia: volontarietà piuttosto che controllo, capacità di agire autonomamente per l'interesse collettivo
- Relazionalità: connessione significativa con gli altri
- Competenza: sentirsi capaci ed efficaci (condizione necessaria per l'uso dello strumento)
Adozione dell'approccio sistemico proposto da Voinea, considerando contemporaneamente i livelli individuale e collettivo:
- Livello individuale: utilizzo di scale SDT per misurare il soddisfacimento dell'autonomia e della relazionalità
- Livello collettivo: necessità di nuovi quadri qualitativi per comprendere le dinamiche relazionali
Enfasi sulla partecipazione completa degli stakeholder:
- Coinvolgimento di pazienti e familiari nel design iterativo
- Combinazione di conoscenza esperta e esperienza utente
- Sensibilità culturale e allineamento dei valori
Gli autori hanno scelto l'assistenza alla demenza come scenario di applicazione principale per i seguenti motivi:
- Enorme e crescente domanda di servizi
- Caratteristiche marcatamente relazionali del servizio
- Dinamiche familiari e comunitarie complesse
Sebbene l'articolo sia principalmente un contributo concettuale, propone un quadro per valutare la CAI conviviale:
- Utilizzo di scale di soddisfacimento dei bisogni psicologici fondamentali della SDT
- Misurazioni auto-riferite di autonomia, relazionalità e competenza
- Interviste con coppie o gruppi
- Workshop di co-design
- Metodo dei cultural probes
- Osservazione etnografica
L'articolo fornisce diversi casi concreti per illustrare l'applicazione del design conviviale:
- Caso Positivo: agente conversazionale consapevole progettato da Seah et al., che supporta la relazione tra pazienti affetti da demenza e caregiver
- Caso Negativo: ricerca di role-playing con LLM non autorizzata nella comunità Reddit
L'articolo fornisce principalmente contributi concettuali, validando il quadro teorico attraverso l'analisi di casi:
- Orientamento relazionale: progettato specificamente per migliorare la relazione tra pazienti affetti da demenza e caregiver
- Approccio partecipativo: coinvolgimento congiunto di esperti, caregiver e pazienti nel design
- Valutazione iterativa: ottimizzazione continua per supportare gli obiettivi di convivialità
- Mancanza di consenso: creazione di account falsi senza consenso della comunità
- Erosione della fiducia: danno alle relazioni di fiducia all'interno della comunità umana
- Conflitto di valori: conflitto tra il modello commerciale e i valori di assistenza e coesistenza
Attraverso l'analisi comparativa, l'articolo dimostra come la prospettiva di convivialità modifichi il design della CAI:
| Design CAI Tradizionale | Design CAI Conviviale |
|---|
| Focalizzazione sull'esperienza dell'utente individuale | Focalizzazione sull'impatto relazionale e comunitario |
| Ottimizzazione dell'efficienza dell'interazione | Ottimizzazione della qualità relazionale |
| Automazione dei compiti umani | Supporto all'ampliamento delle capacità umane |
| Design con stakeholder singolo | Design partecipativo multi-stakeholder |
- Supporto tecnico per sistemi di assistenza domiciliare intelligente
- Automatizzazione dei controlli periodici
- Risposta immediata alle esigenze di emergenza
- Interventi per il benessere domestico
- Comprensione di Bennett et al. degli agenti umani e dell'autonomia in HCI
- Approccio basato su evidenze per supportare il benessere nel design tecnologico
- Concetto di servizio relazionale di Cipolla
- Le relazioni interpersonali come componente centrale della produzione di servizi
Sebbene il concetto di convivialità sia stato applicato nella ricerca su sistemi multi-agente, mancano ancora metodi di misurazione della convivialità nel senso di Illich.
- Necessità di un Cambio di Paradigma: passaggio da "come ampliare la scala attraverso l'automazione dei compiti umani" a "come l'automazione può supportare l'ampliamento dell'impatto umano"
- Valore del Design Incentrato sulle Relazioni: mantenere la qualità delle relazioni interpersonali è più importante del semplice aumento dell'efficienza dell'interazione
- Criticità dell'Approccio Partecipativo: senza la partecipazione degli stakeholder, non è possibile realizzare veri strumenti di intelligenza artificiale conviviale
- Utilizzo di metodi SDT per misurare l'autonomia e la relazionalità a livello individuale
- Sviluppo di nuovi metodi per ottenere intuizioni sulla prospettiva della comunità collettiva
- Apprendimento da sociologia, antropologia e metodologie indigene
- Comprensione approfondita delle sfumature, delle dinamiche e dei benefici chiave delle relazioni
- Collaborazione con coppie o gruppi per interviste e co-design
- Utilizzo di metodi etnografici per osservare le dinamiche relazionali in ambienti naturali
- Superamento delle sfide del design partecipativo negli ambienti sanitari
- Partnership creativa con gli stakeholder
- Gestione delle relazioni in modo da supportare coesistenza, autonomia e relazionalità
- Riconoscimento che la tecnologia potrebbe non essere la soluzione migliore
- Considerazione dell'aumento delle risorse umane come alternativa
- Apprendimento dai successi del movimento dei lavoratori della salute comunitaria
- Mancanza di Strumenti di Misurazione: attualmente non esistono metodi di misurazione diretta della convivialità nel senso di Illich
- Difficoltà nell'Analisi a Livello Collettivo: le misurazioni SDT esistenti si basano su auto-relazioni individuali, rendendo difficile l'analisi a livello collettivo
- Sfide di Implementazione: il design partecipativo negli ambienti sanitari affronta vincoli di tempo, risorse e istituzionali
- Conflitto di Modelli Commerciali: i modelli commerciali orientati al profitto spesso entrano in conflitto con i principi di convivialità
- Sviluppo di Nuovi Metodi di Misurazione: sviluppo di strumenti di misurazione che catturino la convivialità a livello relazionale e comunitario
- Collaborazione Interdisciplinare: collaborazione con antropologia, sociologia e campi STS per sviluppare quadri di valutazione
- Interazione Relazionale-Computazionale: possibile necessità di sviluppare nuovi campi di ricerca RCI o CCI
- Ricerca sull'Impatto a Lungo Termine: valutazione degli impatti sociali e relazionali a lungo termine del dispiegamento della CAI
- Integrazione Concettuale: connessione riuscita della teoria di Illich di 50 anni fa con la tecnologia AI moderna
- Prospettiva Interdisciplinare: prospettiva duale che combina ingegneria del design e psicologia sociale
- Pensiero Sistemico: quadro analitico multi-livello individuale-relazionale-comunitario
- Operazionalità Concreta: le quattro raccomandazioni forniscono una guida chiara per il design effettivo
- Orientamento ai Casi: illustrazione efficace dell'applicazione teorica attraverso casi positivi e negativi
- Rilevanza Contemporanea: scelta dell'assistenza alla demenza come problema sociale urgente
- Struttura Razionale: logica chiara dal riconoscimento del problema alla costruzione teorica alle raccomandazioni pratiche
- Spiegazione della Terminologia: spiegazione sufficiente del contesto per concetti chiave come la convivialità
- Espressione Equilibrata: riconoscimento sia del potenziale tecnologico che dei rischi potenziali
- Mancanza di Validazione Empirica: principalmente contributo concettuale, carente di ricerca empirica su larga scala
- Insufficienza degli Strumenti di Misurazione: riconoscimento della mancanza di metodi di misurazione diretta della convivialità
- Incompletezza del Quadro di Valutazione: i metodi di valutazione a livello collettivo richiedono ulteriore sviluppo
- Considerazioni di Costo Insufficienti: il design partecipativo e i metodi incentrati sulle relazioni potrebbero aumentare i costi di sviluppo
- Difficoltà di Scalabilità: mancanza di chiarezza su come mantenere i principi di convivialità nel dispiegamento su larga scala
- Fattibilità Commerciale: il conflitto con i modelli commerciali esistenti potrebbe ostacolare l'adozione
- Specificità Culturale: il concetto di convivialità potrebbe presentare variazioni culturali, richiedendo ulteriore discussione
- Analisi dei Compromessi Insufficiente: mancanza di analisi approfondita su come bilanciare efficienza e qualità relazionale
- Condizioni al Contorno Sfocate: standard poco chiari per quando scegliere soluzioni tecnologiche vs. soluzioni basate su risorse umane
- Cambio di Paradigma: potenziale per promuovere il passaggio della ricerca HCI da un orientamento individuale a uno relazionale
- Ponte Interdisciplinare: nuovo percorso per l'integrazione tra design tecnologico e scienze sociali
- Ispirazione Politica: nuovo quadro di pensiero per la governance dell'AI e la politica sanitaria
- Guida al Design: principi di design pratici per gli sviluppatori di CAI
- Quadro di Valutazione: nuovi strumenti per valutare l'impatto sociale dei sistemi di intelligenza artificiale
- Identificazione dei Rischi: aiuto nell'identificazione e prevenzione dei potenziali impatti negativi del dispiegamento dell'AI
- Chiarezza del Quadro Teorico: il concetto di convivialità e l'integrazione della SDT sono facili da comprendere e applicare
- Trasferibilità Metodologica: le quattro raccomandazioni possono essere applicate al design della CAI in altri settori
- Riferimento ai Casi: i casi forniti offrono riferimenti concreti per altri ricercatori
- Assistenza Sanitaria: in particolare la gestione delle malattie croniche che richiedono la costruzione di relazioni a lungo termine
- Servizi Educativi: mantenimento delle relazioni insegnante-studente e dell'ambiente di apprendimento tra pari
- Servizi Comunitari: servizi pubblici che richiedono il mantenimento della coesione comunitaria
- Supporto Familiare: servizi che coinvolgono dinamiche familiari e relazioni intergenerazionali
- Forte Carattere Relazionale: il servizio stesso ha caratteristiche interpersonali marcate
- Sensibilità ai Valori: settori che coinvolgono valori culturali e considerazioni etiche
- Impatto a Lungo Termine: scenari di applicazione che richiedono considerazione dell'impatto sociale a lungo termine
- Multi-Stakeholder: coinvolgimento di più gruppi di stakeholder interconnessi
L'articolo cita 29 importanti riferimenti bibliografici, coprendo i seguenti campi chiave:
- Fondamenti Teorici: teoria degli strumenti conviviali di Illich (1973), Teoria dell'Autodeterminazione di Ryan & Deci (2017)
- Ricerca HCI: ricerca sull'autonomia umana di Bennett et al. (2023), ricerca sul design tecnologico di Peters & Calvo (2023)
- Applicazioni AI Sanitarie: revisione sistematica delle applicazioni di salute mentale di Guo et al. (2024), ricerca su LLM medici di Thirunavukarasu et al. (2023)
- Metodi di Design: revisione sistematica del co-design di agenti conversazionali di Sadek et al. (2023)
- Impatto Sociale: teoria della bolla di filtro di Pariser (2011), ricerca sull'intelligenza collettiva di Burton et al. (2024)
Valutazione Complessiva: Questo è un articolo di alta qualità con importanti contributi teorici e valore di guida pratica. Gli autori hanno integrato con successo la teoria sociale classica con la tecnologia AI moderna, proponendo un paradigma di design della CAI incentrato sulle relazioni. Sebbene vi siano ancora margini di miglioramento nella validazione empirica e nei dettagli di implementazione, l'articolo apre nuove direzioni di ricerca per il settore HCI e ha un significato importante per lo sviluppo di un'intelligenza artificiale responsabile.