Aspetti emozionali dell’esperienza

1. Aspetti emozionali dell’esperienza Università degli Studi di Padova Dipartimento di Psicologia Generale

2. Introduzione • ARGOMENTI: • User eXperience • Affectivecomputing • Neuromarketing • Liedetection

3. User eXperience • Origini del concetto di User eXperience: • Workplace (luogo di lavoro): filone di ricerca che si focalizza sul lavoro come insieme di attività socialmente e cognitivamente organizzate attraverso le tecnologie • Obiettivi: accrescere l’efficienza e l’efficacia • User Experience: termine coniato da Donald Norman per fare riferimento a tutti gli aspetti dell'esperienza che le persone hanno con i sistemi interattivi (sensazioni, percezioni, valutazioni, emozioni) • Tecnologia informatica nella vita quotidiana: "esperienza d’uso" • Nuovi fattori nello studio della qualità dell'interazione uomo-computer: aspetti soggettivi ed intimi dell'esperienza (piacevolezza, benessere, emozioni… )

4. User eXperience Definizione di User experience: ISO FDIS 9241 – 210 (2009): «le percezioni e le reazioni di un utente che derivano dall’uso o dalla previsione d’uso di un prodotto, sistema o servizio»

5. Modelli di User eXperience • Donald Norman (2004) identifica 3 livelli di esperienza con la tecnologia: • Livello "viscerale": valutazione automatica ed immediata • Livello "comportamentale": valutazione degli aspetti d'uso del sistema, della prestazione • Livello "riflessivo": livello di elaborazione conscio che prende in considerazione gli aspetti culturali e il significato dell'uso di un prodotto

6. Modelli di User eXperience Modello del "design dell'esperienza" di Garrett (2011):

7. Modelli di User eXperience Il diagramma a nido d'ape di Morville (2004)

8. Le emozioni nell’Esperienza dell’utente L'ESPERIENZA DURANTE L'USO Soddisfazione dell'utente: «La soddisfazione è il grado con cui gli utenti giudicano che le tecnologie incontrano le loro esigenze» Ives, Olson, Baroudi (1983) Overall User Satisfaction: un ‘agglomerato’ di diverse dimensioni come accuratezza, facilità d’uso, attrattività, divertimento, coinvolgimento e piacevolezza Piacevolezza: esperienza sensoriale, qualità edoniche del sistema o oggetto, emozioni positive o negative (stress) suscitate

9. Le emozioni nell’Esperienza dell’utente I giudizi di piacevolezza influiscono sui giudizi di usabilità es. Studio sull’oscilloscopio (B. J. Fogg, 2003) Oscilloscopio con messaggi d'errore gentili, valutato come più preciso, accurato e facile da capire

10. Le emozioni nell’Esperienza dell’utente L’esperienza prima dell’uso LE ASPETTATIVE DELL’UTENTE E L’ACCETTAZIONE: Modello TAM adattato da Davis et al. (1989)

11. Le emozioni nell’Esperienza dell’utente • Metodi per lo studio degli • aspetti emozionali • Misure soggettive • Misure comportamentali • Misure fisiologiche

12. Le emozioni nell’Esperienza dell’utente • Misure soggettive • Modello circomplesso degli stati affettivi (Russell, 1980)

13. Le emozioni nell’Esperienza dell’utente • Misure soggettive • PANAS (Positive and Negative Affect Schedule): prevede due sottoscale: positiva e negativa • Sensual Evaluation Instrument (SEI)

14. Le emozioni nell’Esperienza dell’utente Misure comportamentali • Espressioni facciali • Voce • Dilatazione pupillare • Gesti, movimenti e postura

15. Le emozioni nell’Esperienza dell’utente Espressioni Facciali

16. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Muscoli del volto

17. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Emotionrecognition software (ERS) • I software per il riconoscimento delle emozioni: • Creano una mappa del viso e individuano i punti chiave (es. angoli bocca) • Elaborazione correlazionale tra la posizione dei punti e modelli predefiniti • Individuano le emozioni di base (sorpresa, paura, rabbia, tristezza, disgusto, • gioia) ed un'espressione neutra

18. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Emotionrecognition software (ERS) http://www.youtube.com/watch?v=75YXUZn_0o8

19. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale • Elettromiografia: tecnica per registrare il potenziale • elettrico generato dalle cellule dei muscoli scheletrici (e • mimici del volto) Intramuscolar EMG: richiede l'inserimento di elettrodi a spillo nel tessuto muscolare Permette il monitoraggio dell'attività anche di poche fibre muscolari Surface EMG (sEMG): richiede l'applicazione di elettrodi sulla pelle Permette il monitoraggio dell'attività generale del muscolo

20. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Surface EMG Applicazioni della sEMG: Ricerca neurofisiologica e medica: • indagini sulla spasticità muscolare, crampi… • analisi della deambulazione e della postura • Riabilitazione: • valutazione dell'efficacia dei trattamenti • biofeedback • Ergonomia: • design ergonomico del workplace • monitoraggio e prevenzione del rischio • Sport: • analisi dei movimenti • analisi dell'efficacia dell'allenamento • Ricerca sulle emozioni e sullo stress: • analisi reazioni facciali a stimoli

21. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale Siti per elettrodi:

22. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale L'analisi dei dati fEMG permette di distinguere: • "valenza" dell'attivazione emozionale: • Corrugator supercilii negativa • Zygomaticus major positiva

23. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale L'analisi dei dati fEMG permette di distinguere: • Emozioni di base: • Gioia: • Orbicularis oculi • Zygomaticus major • Sorpresa: • Frontalis • Levatorpalpebraesuperioris

24. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale L'analisi dei dati fEMG permette di distinguere: • Emozioni di base: • Paura: • Frontalis • Corrugator supercilii • Levatorpalpebrae • superioris • Rabbia: • Corrugator supercilii • Levatorpalpebraesuperioris • Orbicularis oculi

25. Le emozioni nell’Esperienza dell’utente Espressioni Facciali Elettromiografia facciale L'analisi dei dati fEMG permette di distinguere: • Emozioni di base: • Tristezza: • Frontalis • Corrugator supercilii • Depressorangulioris • Disgusto: • Levatorlabiisuperioris • Levatorlabiisuperioris • alaeque nasi

26. Le emozioni nell’Esperienza dell’utente Surface EMG e stress La sEMG applicata al volto: • Rileva e misura anche la minima attività • dei muscoli facciali non rilevabile ad occhio • nudo • Interessante l'attività del corrugator • supercilii

27. Le emozioni nell’Esperienza dell’utente Surface EMG e stress La sEMG applicata al muscolo trapezio: • tensione trapezio aumenta con lo stress

28. Le emozioni nell’Esperienza dell’utente Voce • Nella UX il riconoscimento delle emozioni dalla voce può • essere usato per: • Verbalizzazioni spontanee dell'utente • Risposte a interviste • Verbalizzazioni ottenute tramite il "thinkingaloud"

29. Le emozioni nell’Esperienza dell’utente Voce e Stress • Alcune caratteristiche vocali legate allo stress: • Frequenze più alte • Maggiore intensità nelle alte frequenze • Rapide oscillazioni nelle frequenze fondamentali

30. Le emozioni nell’Esperienza dell’utente Dilatazione pupillare • Il diametro pupillare è regolato dall'azione antagonista di due muscoli: • Sfintere o costrittore della pupilla ad innervazione parasimpatica • Dilatatore della pupilla ad innervazione simpatica • Cause della dilatazione/costrizione: • Illuminazione: • Oscurità Dilatazione • Luminosità Costrizione • Distanza del punto focale: • Lontano Dilatazione • Vicino Costrizione • Attivazione cognitiva/emozionale Dilatazione

31. Le emozioni nell’Esperienza dell’utente Dilatazione pupillare e stress • Nella ricerca sull'esperienza emozionale/stress, la dilatazione pupillare: • è indice di arousal • richiede la standardizzazione degli stimoli rispetto alla luminosità • Non permette la distinzione tra emozioni "positive" e "negative" • Strumento di misurazione: eyetracker • Misura: valori medi del diametro pupillare

32. Le emozioni nell’Esperienza dell’utente Gesti, movimenti e postura "Gesti espressivi": • movimenti capaci di trasmettere e comunicare quello che stiamo • provando, un'emozione, un atteggiamento, un'intenzione • Si studia la qualità del movimento piuttosto che la funzionalità del • gesto (forza/delicatezza, grazia/noncuranza… ) • Metodo: • Analisi video con • giudici indipendenti

33. Le emozioni nell’Esperienza dell’utente Misure fisiologiche Le misure principalmente utilizzate nello studio delle emozioni: • Attività cardiaca • Pressione sanguigna • Frequenza respiratoria • Attività elettrodermica (EDA) • Temperatura • Elettroencefalogramma (EEG)

34. Le emozioni nell’Esperienza dell’utente Attività cardiaca Elettrocardiogramma (ECG): registrazione grafica dell'attività elettrica del cuore prodotta dalla polarizzazione e depolarizzazione delle cellule cardiache

35. Le emozioni nell’Esperienza dell’utente Attività cardiaca • Il tracciato ECG è formato da "onde": • Onda P: prima onda, di piccole dimensioni prodotta dalla depolarizzazione degli atri • Complesso QRS: insieme di tre onde prodotte dalla depolarizzazione dei ventricoli • Onda T: onda di piccole dimensioni prodotta dalla ripolarizzazione dei ventricoli • Onda U: onda di piccole dimensioni prodotta dalla ripolarizzazione dei muscoli papillari • Heart rate: dipende dalla distanza R-R e si esprime in beats per minute (bpm) • Heart rate variability: variabilità della distanza R-R e si esprime attraverso vari • indici: • SDANN: deviazione standard della media di 5 min degli RR • SDSD: deviazione standard delle differenze tra intervalli RR adiacenti • Altri indici di HRV sono calcolati nel dominio della frequenza (Hz)

36. Le emozioni nell’Esperienza dell’utente Attività cardiaca Gli impulsi nel miocardio generano differenze di potenziale che variano nello spazio nel tempo e che possono essere registrate tramite degli elettrodi posti sulla superficie corporea formando delle derivazioni Wearablesensors Due elettrodi = una derivazione ECG

37. Le emozioni nell’Esperienza dell’utente Attività cardiaca e stress recognition • Gli eventi stressanti producono: • Un aumento dell'attività Simpatica • Una riduzione dell'attività Parasimpatica • Questo determina: • un aumento della Heart Rate • Cambiamenti nei parametri della Heart Rate Variability: • Es.: LF/HF (rapporto tra Low e High frequency) • LF riflette l'attività del sistema simpatico • HF riflette l'attività del sistema parasimpatico

38. Le emozioni nell’Esperienza dell’utente Attività elettrodermica (EDA) Definizioni e terminologia dei fenomeni elettrodermici EDA (electrodermalactivity): si riferisce a tutti i fenomeni elettrici della pelle (attivi e passivi); vengono usati anche i termini: • EDL (electrodermallevel): livello tonico (nel lungo termine) • EDR (electrodermalresponse): livello fasico (nel breve periodo) SP (Skinpotential): attività elettrica della pelle senza l'applicazione di sorgenti esterne di corrente; essa si suddivide in: • SPL (Skinpotentiallevel): attività tonica • SPR (Skinpotentialresponse): attività fasica • SR (Skinresistance): resistenza della pelle al passaggio di una corrente continua: • SRL (Skinresistancelevel): livello tonico • SRR (Skinresistanceresponse): livello fasico SC (Skinconductance): conduttanza della pelle al passaggio di una corrente continua: • SCL (Skinconductancelevel): livello tonico • SCR (Skinconductanceresponse): livello fasico GSR (Galvanicskinresponse): in letteratura si trova ancora questa definizione vetusta

39. Le emozioni nell’Esperienza dell’utente Attività elettrodermica (EDA) • La Skinconductance: • Si misura in microsiemens (µS) con un dispositivo • dotato di due elettrodi da applicare sulla pelle • Varia con il livello di umidità della pelle • Poiché le ghiandole sudoripare eccrine sono innervate dal sistema • nervoso simpatico, la SC è un buon indice di arousal • le ghiandole eccrine sono presenti un tutta la superficie del corpo ma in • una densità maggiore nei palmi delle mani e nelle piante dei piedi

40. Le emozioni nell’Esperienza dell’utente EDA e stress recognition • Gli eventi stressanti producono: • un aumento dell'attività Simpatica • un aumento della secrezione da parte delle ghiandole eccrine • un aumento dell'umidità della pelle • un aumento della conduttanza cutanea

41. Affective Computing Cos'è l'Affective Computing ? Sistemi informatici sensibili capaci di riconoscere ed esprimere le emozioni. Computer dotati di meccanismi interni di intelligenza emotiva in grado di relazionarsi con l’utente anche attraverso il canale emozionale Dove l’Affective Computing incontra la HCI: • Ridurre la frustrazione dell’utente • Progettazione • Interazione (es. DGB: Dynamic Game Balancing) • Consentire all’utente la comunicazione emozionale • RW Picard (1999)

42. Affective Computing Dynamic Game Balancing by Recognizing Affect The emotionallyadaptive games loop

43. Affective Computing http://www.youtube.com/watch?v=PwiVejMjn6A http://www.youtube.com/watch?v=xyFZl7lCz_s&list=PL0A9DCC6AAC058DDF&index=6

44. Neuromarketing Dove vanno le mani, gli occhi sono già stati. Dove gli occhi sono stati, la mente è già volata. Dove la mente è volata, ci sono già state emozioni. Dove c’è emozione, c’è vita. Bharata, NatyaShastra, 2000 a.C.

45. Neuromarketing Origini La Neuroeconomia La Neuroeconomia e un campo di ricerca emergente la cui funzione è "quella di contribuire alla comprensione di una varietà di comporta- menti umani, che in linea di principio sono ascrivibili alla sfera econo- mica, ma che i modelli economici classici trascurano o non spiegano fino in fondo." Gironde S. (2008)

46. Neuromarketing La Neuroeconomia si sviluppa nel solco dell'economia comportamentale che nasce dalle intuizioni di Kahneman e Tversky (1979) (Teoria del prospetto/Funzione del valore) La Neuroeconomia riceve un forte impulso intorno alla metà degli anni Novanta, quando Antonio Damasio pubblicò i suoi lavori sul ruolo delle emozioni nel processo decisionale (Damasio, A. (2008); L’errore di Cartesio: emozione, ragione e cervello umano)

47. Neuromarketing • Oggetto di studio della Neuroeconomia: • Perché alcune persone decidono di correre dei rischi e altre no? • Come possiamo sapere se le scelte che facciamo sono quelle giuste? • È vero che prendiamo una decisione considerando un insieme di • possibilità e pesando, per ognuna di queste, i pro e i contro? • Ma poi, prendiamo veramente delle decisioni o si tratta solo di • un’illusione procurataci dal cervello, magari a nostro beneficio? • (e.g., L’orologio di Libet)

48. Neuromarketing • Cos’è il Neuromarketing ? • Il Neuromarketing consiste nell’applicazione dei metodi neuroscientifici • per analizzare e comprendere il comportamento umano in relazione ai • mercati e agli scambi commerciali • Lee, Broderick & Chamberlain (2006) • GLI STRUMENTI • Le misure biometriche tipicamente usate per conoscere il consumatore: • Elettroencefalogramma (EEG) • Functionalmagneticresonanceimaging(fMRI) • Magnetoencefalografia (MEG) • Positronemittedtomography(PET) • Heart Rate (HR) • Electrodermalactivity(EDA) • Elettromiografia facciale (fEMG) • EyeTracking

49. Neuromarketing • Alcuni limiti delle misure esplicite (self-report) nelle indagini • di mercato: • "Le misure esplicite (self-assessment) comunemente usate nelle • ricerche di mercato fanno totale affidamento sull’abilità e disponibilità • del rispondente di riportare accuratamente i suoi atteggiamenti e/o • comportamenti precedenti" (Petty e Cacioppo, 1983) • Memoria • Desiderabilità sociale

50. Neuromarketing • Applicazioni del Neuromarketing • Studiare le reazioni del consumatore agli annunci pubblicitari • Skinconductance/Heart rate/Startleresponse: Walla et al. (2011) • Partecipanti: 29 (15 maschi e 14 femmine) • Stimoli: 300 brand conosciuti e classificati come "piacevoli", "spiacevoli" • Misure: SC, HR, Startleresponse • Risultati: • SC: "piacevoli" < "spiacevoli" • HR: "piacevoli" < "spiacevoli" • Startleresponse: "piacevoli" < "Spiacevoli"