Download
1 / 18
180 likes | 367 Views
Tvärmodala interaktioner vid visuell och auditiv perception av vokaler. Hartmut Traunmüller Lingvistik, Stockholms universitet. Tidigare undersökningars grundtanke om audiovisuell integration vid talperception.
E N D
Tvärmodala interaktioner vid visuell och auditiv perception av vokaler Hartmut Traunmüller Lingvistik, Stockholms universitet
Tidigare undersökningars grundtankeom audiovisuell integration vid talperception Ren bayesisk integration av informationen tänkbar (multiplikation och normalisering av sannolikheter)
Tidigare undersökningars verklighet Lyssnare hör även det som de ser. Lyssnare fäster störst vikt vid sådana visuella ledtrådar som är mera pålitliga än de auditiva, främst alltså hos labiala särdrag.
Finns det dessutom en sådan här verklighet? Ser avläsare även det som de hör? Fäster avläsare störst vikt vid sådana auditiva ledtrådar som är mest pålitliga?
Den här undersökningenExperiment 1 Experiment 2 Jämför!
Frågeställningar • Finns det ett separat visuellt percept som skiljer sig från det auditiva? • Hur stor vikt fäster vi vid auditiva och visuella ledtrådar i de båda fallen av audiovisuell integration. • Är detta särdragsspecifikt, så att vi även i denna uppgift fäster störst vikt vid information från sidomodaliteten i de fall där denna erbjuder den mest pålitliga informationen?
Talmaterial • Talare: 2 manliga, 2 kvinnliga. • Originalyttranden: /gig/, /gyg/, /geg/. • Stimuli i experiment 1 (lyssning): Varje talares auditiva plus alla 6 inkongruenta audiovisuella kombinationer av originalen. • Stimuli i experiment 2 (avläsning): Varje talares visuella plus alla 6 inkongruenta audiovisuella kombinationer av originalen.
Perceptionsexperiment • Lyssnare: 14 svenskfödda fp (6 män, 8 kvinnor), studenter och personal på institutionen för lingvistik, Stockholms universitet. Alla deltog i båda experimenten. • Presentation: på datorskärm i Windows Media Player och via hörlurar. Slumpad ordning, varje stimulus 2 gånger.
Perceptionsexperiment • Experiment 1: Vad hör du? (medan du tittar) • Experiment 2: Vad ser du? (med hörlurarna på) • Fp svarar genom att klicka i en ruta på bokstavstecknet för den percipierade vokalen. • Fp styr presentationen, får även upprepa stimuli.
Resultat Resultaten visas på de nästa två bilderna som är förväxlingsmatriser. Symboler Ofyllda cirklar: Rätt vokal Fyllda cirklar: Fel vokal Blå: Rundning uppfattad via sidomodaliteten Röd: Öppningsgrad uppfattad via sidomodaliteten
Vikt hos auditiva och visuella ledtrådar vid perception av öppningsgrad och läpprundning.
Modell för prediktion av bimodal förväxlingsmatris A: auditiv information (endast lyssning) V: visuell information (endast avläsning) AV: resultatet av bayesisk integration av A och V Plyssnig = 0,26 A +0,71 AV (r2 = 0,98) Pavläsning = 0,57 V +0,45 AV (r2 = 0,94) Vid ren bayesisk integration skulle vikten för AV = 1,0.
Skillnader mellan försökspersoner Individuell variation Hörd läpprundning faktiskt sedd: 31-100% Sedd öppningsgrad faktiskt hörd: 28-97% Det fanns ingen signifikant korrelation mellan dessa. Skillnaderna kan därför inte förklaras av en individuell disposition för intermodal integration i allmänhet. Vid auditiv perception visade kvinnor större tillit till visuell information, som i tidigare undersökningar, men skillnaden mellan könen nådde här inte signifikansnivå.
Idealiskt beteende Lita på hörseln för öppningsgraden och på synen för rundningen. Beteendet oberverades hos 6 fp vid lyssning (4 kvinnor, 2 män) samt hos 1 fp (kvinna) vid avläsning i mer än 90% av fallen.
Slutsatser Det finns både ett auditivt och ett visuellt percept. Dessa ör klart skilda. Inget av dem motsvarar ett amodalt percept som skulle kunna modelleras genom ren bayesisk integration. Resultaten återspeglar en vägd summering av sensoriska ledtrådar, där vikten återspeglar tillförlitligheten hos den information som tillhandahålls av varje modalitet. Variationen mellan individerna kan tänkas bero på faktiska skillnader och skillnader i skattningen av denna tillförlitlighet.
