150 likes | 266 Views
Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation -. OFFIS Oldenburger Forschungs- und Entwicklungsinstitut f ü r Informatik-Werkzeuge und – Systeme e. V. Prof. Dr. Claus M ö bus J. Feindt, C. Jan ß en, S. S ö lbrandt, H.-J. Thole,
E N D
Innovative CBT-Architektur im Internet für den EIB- Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut für Informatik-Werkzeuge und –Systeme e. V. Prof. Dr. Claus Möbus J. Feindt, C. Janßen, S. Sölbrandt, H.-J. Thole, Jens Krefeldt, Holger de Vries
Inhalt • Übersicht I-can-EIB • Evaluationsobjekt: I-can-EIB Avatar • Evaluationsdesign: Pre-Post-Test • Statistische Auswertung • Ergebnisse und Konsequenzen
Übersicht I-can-EIB FAQ-Liste (+Hilfe-System) Frage-Baukasten (+Sprachausgabe) Natürlichsprachliche Eingabe Avatar 3D-Chat TreeTagger TopicMap
Avatar Avatar-Animation mit Sprachausgabe
Avatar • Interface • Java API • Javascript API • Visual3D- Editor • Export/Import standardisierter 3D-Repräsentationsformate • Modifizierung des Aussehens • Animations- Editor • Gestik, Mimik • Emotion • Speech • WebSpeech API (Logox)
Pre-Post-Test Design Pre-Test Post-Test t-Test für abhängige Stichproben idealer menschlicher Berater idealer menschlicher Berater Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös t-Test für unabhängige Stichproben idealer Avatar idealer Avatar Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös I-can-EIB-Berater I-can-EIB-Berater Attribute: aktiv bedrängend … nervös Attribute: aktiv bedrängend … nervös
Vergleich der Mittelwerte Pre-Test:t-Test für unabhängige Stichproben Signifikante Abweichungen der Mittelwerte zwischen IM-IA: --- Signifikante Abweichungen der Mittelwerte zwischen IM-ICE: motiviert p=0,02868 begeistert p=0,02351 Signifikante Abweichungen der Mittelwerte zwischen IA-ICE: ---
Vergleich der Mittelwerte Post-Test:t-Test für unabhängige Stichproben keine signifikanten Abweichungen
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer menschlicher Berater“ Signifikante Abweichungen möchte ihn wieder sehen p=0,00366 motiviert p=0,05109 wachsam p=0,0489 streng p=0,0377
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer Avatar“ Signifikante Abweichungen interessiert p=0,01746 aufmerksam p=0,00375 wachsam p=0,01397
t-Test für abhängige Stichproben:Pre-Post-Vergleich „I-can-EIB-Avatar“ keine signifikanten Abweichungen
Pre-Test: Offene Fragen 1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll? • keine/gar nicht • Beratung • Hilfethemen • Frage-Antwort-Systeme • neue/schwierige Themen • … 2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten? • egal • gut • schlicht • zurückhaltend und visuell ansprechend • ruhig und sachlich • „na ja“ • … 3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten? • bringt mich nicht weiter • wichtig • gut • gut, solange er nicht zu aufdringlich wird • … • Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort. • ja, für Hilfe • nein, ich arbeite mich selbst durch Programme und greife auf Hilfetexte zurück • ja, für schnelle Unterstützung bei Fehlbedienungen • ja, aber nur auf Abruf • …
Post-Test: Offene Fragen 1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll? • egal • gar nicht • Beratung • Hilfethemen • … 2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten? • langweilig • gut • geschmacklos • bescheiden • schlicht • visuell ansprechend, wie Office XP • normal, nicht übertrieben • … 3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten? • als Hilfssystem gut • gut, wenn er Tipps gibt • ein direkter Ansprechpartner wäre mir lieber • … • Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort. • ja, bei allen Themen • ja, als Hilfesystem • zur Fragestellung wünschenswert • ja, in schwierigen Themenbereichen • nein, er sollte lediglich durch Fragestellung aktivierbar sein • …
Konsequenzen themen- und rollenspezifische Räume mit Projektionsflächen FAQ-Liste (+Hilfe-System) Frage-Baukasten (+Sprachausgabe) Natürlichsprachliche Eingabe Avatar Freie Gestaltung Anfangsberatung 3D-Chat TreeTagger TopicMap Wissen für Anfangsberatung und Anfangsbewertung