Generative AI e Modelli Decisionali, Presentazione Università degli Studi di Salerno

UNIONE EUROPEA

Fondo Sociale Europeo Fondo Europeo di Sviluppo Regionale Alistavo dell' Unimuito FSC Fondo per lo Sviluppo e la Coesione ATICA CIVITAS ERNI+ UM SA

UNIVERSITÀ DEGLI STUDI DI SALERNO

DIPARTIMENTO DI SCIENZE AZIENDALI

MANAGEMENT & INNOVATION SYSTEMS DISA-MIS DIREZIONE Edificio D1, Piano 2 Piazza Pomponio Leto, 6 Phd Student: Angela Peduto Tutor: Prof. Francesco Orciuoli

Agenda della Presentazione

• Contesto, Boundaries e Motivazioni
• Domande di Ricerca
• Tesi Centrale e Strategia Dimostrativa
• Framework Teorico
• Prime Sperimentazioni e Risposte Iniziali
• Progetto Architetturale
• Sperimentazioni Finali e Risultati
• Conclusioni e Prospettive Future

Il Group Decision Making (GDM)

• è un paradigma decisionale in cui più esperti o stakeholder collaborano per scegliere tra un insieme di alternative.
• Caratterizzato da:
  • Opinioni eterogenee
  • Conflitto potenziale
  • Obiettivo comune
  • Iteratività
• Il ruolo del consenso nel GDM
  • Non sempre si cerca l'unanimità, ma un grado accettabile di accordo tra i partecipanti

Heterogeneous opinions Legitimiracy CONSENSUS of decision Potential conflict Fuzzy tools

Riferimenti principali

• Dorit S Hochbaum and Asaf Levin. "Methodologies and algorithms for group-rankings decision". In: Management Science 52.9 (2006), pp. 1394-1408.
• Pieter J Beers et al. "Common ground, complex problems and decision making". In: Group decision and negotiation 15 (2006), pp. 529-556.
• Thomas L Saaty and Kirti Peniwati. Group decision making: drawing out and reconciling differences. RWS publications, 2013.

Fuzzy Consensus Model (FCM)

• Fuzzy Consensus Model (FCM) - Lo strumento computazionale per raggiungere il consenso
  • Modellazione fuzzy delle preferenze
  • Misure di consenso, similarità, prossimità
  • Iteratività e meccanismi di feedback

1. Fuzzy Preference Relation pij = Hp (xix)) € [0,1]
   • Pij = 0.5 -> indifference
   • Pij = 1 -> complete prference
2. Similarity Matrix Between Experts k and l SmkI = 1}} = 1 -|pib - phill
3. Consensus Matrix (CM): m cmij = P( (smikij) = Zni kel
4. Weighted Collective Preference: k pcij = Epicred' (ex) - Phij k=1 ppkij =
5. Proximities: 1 1 -Ipkij - pcij 11 1m (m-1) k k pak ii = 2(n-1) t=1 n ZPPk j) + PPR ji + ppkkjt)
6. Consensus Condition: prkza (sale cònconsenseqairel)

Schema FCM

• Ogni esperto esprime le proprie preferenze in forma fuzzy (es. mediante valori linguistici o intervalli di incertezza)
• Il sistema calcola misure di similarità e distanza fuzzy tra le preferenze
• Il processo è iterativo: vengono forniti feedback numerici agli esperti per guidarli verso una zona di consenso accettabile
• Se le distanze rientrano sotto una soglia, si raggiunge il consenso fuzzy

PREFERENZE- Acquisizione delle Preferenze Problema = insieme di quesiti C en .. e2 e1 Clacolo delle matrici fuzzy di similarità e del consenso Proposta Finale Verifica del livello di consenso raggiunto consenso raggiunto o max round Modulo di rilevazione del consenso Livello di consenso non raggiunto FEEDBACK Meccanismo di feedback fx

Boundaries dei Sistemi Tradizionali di GDM e FCM

• I metodi tradizionali di GDM spesso si basano su una media dei giudizi, trascurando le sfumature personali e le variabili motivazionali degli esperti. (Wetmore & Summers, 2003)
• Il Fuzzy Consensus Model (FCM), pur affrontando l'incertezza con la logica fuzzy, tende a trattare il consenso in termini prevalentemente numerici, mancando di una componente persuasiva linguistica. (Fedrizzi et al., 1986)
• Uno dei principali limiti teorici del FCM è l'eccessiva semplificazione delle informazioni fuzzy durante il processo di defuzzificazione, che può causare perdita di precisione e interpretabilità. (Alvaro et al. , 2020)

Motivazioni della ricerca

• Limiti dei modelli tradizionali
  • Bassa personalizzazioneDifficoltà nell'adattamento dinamico alle interazioni tra gli esperti
  • Complessità nel mediare le differenze con approcci solo numerici
• Opportunità offerte dai Large Language Models (LLM):
  • Generazione di messaggi linguistici adattivi e personalizzati
  • Supporto persuasivo nel percorso verso il consenso
  • Integrazione con modelli fuzzy per migliorare interazione, comprensione e convergenza

Domande di ricerca

• RQ1 I LLM posso generare messaggi persuasivi e personalizzati relativamente alle diversi profili psicometrici dell'interlocutore?
• RQ2 I LLM posso generare feedback motivazionali e basati al differente background dell'interlocutore?
• RQ3 L'IA generativa può essere utilizzata per superare gli attuali limiti del FCM?

I processi cognitivi nel GDM

• La qualità delle decisioni dipende dalla capacità dei partecipanti di recepire e valutare i contributi degli altri membri
• I processi cognitivi sono essenziali per la comprensione e la valutazione dei diversi punti di vista
  • Elaboration Likelihood Model (ELM) (Richard E Petty et al. The elaboration likelihood model of persuasion. Springer, 1986.)
  • Principi di Cialdini (Robert B Cialdini. "The science of persuasion". In: Scientific American 284.2 2001)
• Big Five (Robert A Power and Michael Pluess. "Heritability estimates of the Big Five personality traits based on common genetic variants". In: Translational psychiatry 5.7, 2015)

Angela Peduto

Ruolo dei Large Language Models (LLM)

• Capacità di personalizzazione linguistica e stilistica
• Prompt engineering per la generazione adattiva
• Uso di Retrieval-Augmented Generation (RAG) per oggettività e spiegabilità

"You are a moderator trying to guide an expert to adjust their preference in a a fuzzyconsensus process." 1 Role playing "Use this information to write a persuasive message convincing the expert to {suggestion} their preference." Requested task The expert's personality is {expert['personality']}, and they belong to the '{self.get_expert_group(expert)}' group." Context control "Here are some insights about the alternatives: 1. {self.alternatives[i]['name']}: {concept_i[:300]} ... 2. {self.alternatives [i]['name']}: {concept_j[:300]} ... if personal_pref < collective_pref: suggestion = "increase" elif personal_pref > collective_pref: suggestion = "decrease" Conditional prompting else: suggestion = "maintain" "Generate responses that avoid generic elements and provide contextualized feedback based on the provided insights." Narrowing the scope

Sperimentazione 1: Valutazione delle capacità persuasive di LLM relativamente alle diverse personalità degli interlocutori

• Quattro scenari di risoluzione dei conflitti tra colleghi in cui l'LLM ha il ruolo di moderatore.
• LLM: Mistral, Gemma, Llama2 e Qwen (tutti 7B)
• È stato utilizzato un framework di valutazione completo, valutando:
  • la leggibilità,
  • la fluidità,
  • l'inferenza del linguaggio naturale,
  • l'applicazione di tecniche persuasive,
  • la connessione tra queste tecniche e i tratti di personalità dell'interlocutore.

Open Agreeable Extraverted Big Five Personality Traits Stable Conscientious Angela Peduto

Sperimentazione 1: Dataset e metriche

• Dataset di 640 generate = 4 frasi per ogni modello x 5 personalità x 4 contesti x 4 modelli = 320 x 2 (suggerendo o meno l'utilizzi delle tecniche di Cialdini)
• Leggibilità e Fluidità dei Messaggi Persuasivi
  • Metrica: Indici di Flesch Reading Ease e Gunning Fog
• coerenza logica e contestuale dei testi generati dai LLM
  • Metrica: Punteggi di "entailment" (inferenza logica naturale - NLI) tramite il modello RoBERTa-large-mnli
• Tecniche Persuasive
  • Metrica: Frequenza di utilizzo di Reciprocità, Apprezzamento, Prova Sociale, Autorità, Scarsità, Impegno e Coerenza
• Personalizzazione
  • Analisi dei pattern persuasivi

RQ1 I LLM posso generare messaggi persuasivi e personalizzati relativamente alle diversi profili psicometrici dell'interlocutore? Si

Modello Recipro cità Apprez zamento Prova Sociale Autorità Scarsità Impegno e Coerenza mistral 102 75 15 0 2 35 gemma 68 48 19 11 10 59 qwen:7b 60 93 24 2 2 51 Llama 2:7b 80 63 23 2 22 44 Modello Personalità Sofia2016 corrisponde Sofia2016 non corrisponde Alkics2015 corrisponde Alkics 2015 non corrisponde gemma Amicalità 15 17 28 4 gemma Coscienziosità 17 15 22 10 gemma Estroversione 30 2 21 11 gemma Nevroticismo 21 11 17 15 gemma Apertura 29 3 6 26 Llama 2:7b Amicalità 15 17 27 5 Llama 2:7b Coscienziosità 18 14 9 23 Llama 2:7b Estroversione 31 1 28 4 Llama 2:7b Nevroticismo 23 9 20 12 Llama 2:7b Apertura 32 0 7 25 mistral Amicalità 23 9 32 0 mistral Coscienziosità 24 8 17 15 mistral Estroversione 31 1 28 4 mistral Nevroticismo 16 16 26 6 mistral Apertura 28 4 4 28 qwen:7b Amicalità 11 21 31 1 qwen:7b Coscienziosità 22 10 15 17 qwen:7b Estroversione 31 1 23 9 qwen:7b Nevroticismo 29 3 14 18 qwen:7b Apertura 32 0 10 22 Metric Flesch Reading Ease Range Gunning Fog Range : 120 100 80 - 60 - 40 20 - 0 gemma llama2:7b mistral qwen:7b 0.8 0.8 - . 0.6 Entailment Score 0.4 ... 0.2 1 0.0 mistral gemma qwen:7b llama2:7b Openness Conscientiousness Extraversion Personality Agreeableness Neuroticism Model 0.6 . ! Entailment Score 0.4 0.2 0.0 · L 140 Difference between maximum and minimum

Sperimentazione 2: Valutazione delle capacità motivazionali di LLM relativamente alle diverse livelli di competenza degli interlocutori

• Integrazione di LLM in un ITS, generare feedback motivanti per studenti con diversi background
• I sei pilastri motivazionali utilizzati come base per le strategie motivazionali sono:
  • Valore del compito (Task Value).
  • Ambizione di miglioramento personale (Mastery Goals).
  • Senso di appartenenza (Sense of Belonging).
  • Gestione delle emozioni (Manage of Emotions).
  • Aspettativa di successo (Expectation of Success).
  • Autonomia (Autonomy)
• LLM: GPT-3.5-Turbo, Gemini 1.0 Pro, Llama 2 70B, Mixtral 8×7B.

Domain Model text generation LLM K Tutoring Model Student Model Interface User-Learner

Sperimentazione 2: generare feedback motivazionali considerando la diversità di background

Frasi generate 72 = 3 coppie <persona, scenario> x 6 pilasti x 4 LLM Ground Truth 54 = 3 coppie <persona, scenario> x 6 pilasti x 3 tutor

• È stato utilizzato un framework di valutazione completo, valutando:
  • Quantitativa: metriche BERTScore, Rouge (ground truth/testo generato)
  • Qualitativa: 3 tutor umani (motivazione, leggibilità, correttezza logica, qualità complessiva)

Evaluation Framework Definizione di Personas e Scenari Tutor umani Valutazione Qualitativa Prompt Engineering Ground Truth Valutazione Quantitativa Pillars (principi fondamentali su cui si basano le strategie motivazionali)