Sauli Takala University of Jyväskylä 12. CercleS-Konferenz London 6.-8. September 2012

1. Going for Gold – KönnencheCklisteneinGoldENEStestWerkzeugbeimSprachtesten Und -BewerTensein? Sauli Takala University of Jyväskylä 12. CercleS-Konferenz London 6.-8. September 2012

2. Überblick • Die aktuelle Debatte zur Definition des Konstrukts beim Sprachenlernen • Handlungsorientiertes Sprachenlernen und -bewerten: Vernachlässigung einiger relevanter Quellen und Quellenkritik • Modelle der Sprachbewertung nach dem handlungsorientierten Ansatz • Das Für und Wider der Checklistenmethode • Bewerten mittels Checklisten • Abschließende Bemerkungen

3. Definitionsversuch des Konstrukts der Sprachperformanz: • Kompetenzfokussierung (z.B. Bachman 2002, 2006) • Aufgabenfokussierung (z.B. Norris 2005) • Interaktionsfokussierung • siehe nächste Folie für einen Überblick zum Definitionsversuch des Konstrukts nach Bachman(2007; Whatistheconstruct? The DialecticofAbilitiesandContexts in DefiningConstructs in Language Assessment. In Fox et al. Language TestingReconsidered. Ottawa: U of Ottawa Press, 41-71)

4. Approaches to defining the construct in language testing/assessment, Bachman, 2007

5. Gibt es grundlegende Unterschiede oder ist es nur eine Frage der Schwerpunktsetzung? Sind wir faktisch daran interessiert, herauszufinden, inwiefern Kompetenz für die Anwendung von Sprache zur Aufgabenbewältigung verantwortlich ist? Gibt es eine unvermeidliche Interaktion zwischen der Kompetenzstufe und der Aufgabenart? Repräsentieren Aufgaben die Ziele /erforderlichen Kompetenzen?

6. Einige hilfreiche frühe Quellen – zu einem bestimmten Grad vernachlässigt • Linguistische Philosophie (besonders im Spätwerk Wittgensteins, Philosophische Untersuchungen, 1953) • Soziologie und Sozialpsychologie (Kurt Lewin, Bales (1950), Festinger (1951), Watzlawick (1967) – Kommunikation und Interaktion in Kleingruppen • Linguistischer Pragmatismus – besonders die frühe Kritik Austins (1955/1962) und Searles (1969) durch deutsche Pragmalinguisten (Wunderlich, 1972; Ehlich & Rehbein, 1972 – Praxeogramme...)

7. ROLLE/SOZIALE ROLLE: auch vernachlässigt? • In der Sozialpsychologie wird die Rolle folgendermaßen definiert: die Menge aus Verhaltensweisen, Rechten und Pflichten, die von den Akteuren in einer sozialen Situation festgelegt werden. Es handelt sich um ein erwartetes, freies oder sich stetig veränderndes Verhalten, das einen bestimmten individuellen sozialen Status oder eine soziale Position vorsieht. • Funktionalistisches und interaktionistisches Verständnis der Gesellschaft und allen sozialen Verhaltens, samt des kommunikativen Verhaltens (siehe nächste Folie) • Arbeitsteilung – Interaktion zwischen heterogen spezialisierten Positionen/Rollen. • Rollen sind von Individuen/Akteuren belegt. • Soziale Rollen/soziales Verhalten sind durch soziale Normen bestimmt (Erwartungen, Grad der Konventionalität). • Legitime und konstruktive Rollen – Belohnungserwartung (vs. Bestrafung). • Veränderte soziale Bedingungen  Veränderung der Rolle.

9. Dynamik der situierten Interaktion Externe Situation Zeit, Ort, Störgeräusche Kanäle, Medien Code: Verwendung Personen: Ziele, Beziehungen Thema/ Aspekt Verarbeitung: Input-Output Interne Situation

10. nach: Fischer et al., Guidelines for task-based university language testing. Graz: ECML, 2011, S. 21.

11. Puren, C. ( 2008). Formes pratiques de combinaision entre perspective actionnelle et approche communicative: analyse comparative des trois manuels. Langues Modernes. Zitiert nach Fischer et al., 2011, S. 22. (Beachten Sie die Einbeziehung der Rollen!)

12. Sprachtesten/-bewerten – • Kernpunkte und Probleme • Sprachtesten/-bewerten ist bekanntermaßen anspruchsvoll/komplex • Sprachtesten/-bewerten sollte viele Kriterien erfüllen: • (a) Es gibt viele Dinge, die zu beachten sind. • (b) Es gibt eventuell Dinge, die man nicht gut genug kennt (unvermeidbarer Grad von Unwissenheit oder gar Untauglichkeit?). • (c) Es kann ernshafte Konsequenzen haben. • Kann man Sprachtesten/-bewerten weniger anspruchsvoll und komplex gestalten und vermeidbare Probleme/Fehler ausschließen?

13. Bewerten – Viele Dinge, die beachtet werden müssen • Aspekte guten Sprachgebrauchs beobachten  lernen, zuerst Beobachtung weniger guten Sprachgebrauchs zu vermeiden • Beispielsweise beim Bewerten lernen, Folgendes zu vermeiden: • Halo-Effekt • Effekt der zentralen Tendenz • Effekt der Einschränkung des Messbereichs • Härte oder Nachsicht • What about using Checklists?

14. Checklisten: Alltagsgebrauch – Einkaufszettel • Checklisten/Bestandsaufnahmen – haben lange Tradition bspw. bei Persönlichkeitsfragebögen (Selbstevaluation, Vorlieben). • Checklisten – häufiger Gebrauch im Gesundheitswesen/ bei der Pflege, im Flugverkehr/Piloten, im Bauwesen, … • Gawande, A. (2010). The checklist manifesto. How to get things right. London: Profile Books. • Western Michigan Checklist Project (www.xxx) • Scriven, M. (2000/2007). The Logic and Methodology of Checklists. Western Michigan University.

15. Abneigung gegenüber Checklisten – Vorwände ”Es ist unter unserer Würde, Checklisten zu benutzen, eine Beschämung. Es ist wider unserer tiefen Überzeugung davon, wie die wahrhaft Großen unter uns – die, welche wir erstreben zu sein – riskante und komplexe Situationen bewältigen. Die wahrhaft Großen sind wagemutig. Sie improvisieren. Sie haben keine Protokolle und Checklisten. Vielleicht braucht unser Heldenbild ein Update.” (nach: Gawande, S. 173) Checklisten – langweilig  Professionalität – Erwartungen: Selbstlosigkeit, Geschicklichkeit, Zuverlässigkeit, Disziplin. Wir sind nicht zur Disziplin geboren (Neuheit, Spannung). Wir müssen daran arbeiten. (S. 182-3). Wie ist es mit der Bildung?

16. Checklisten sind ein wertvolles Evaluationsverfahren, wenn sie mit Bedacht entwickelt, überprüft und angewandt werden. • Eine solide Evaluationscheckliste: • definiert die Kriterien, die mindestens bei der Evalutaion eines bestimmten Bereichs in Betracht gezogen werden sollten. • hilft dem Gutachter, die wichtigen Kriterien nicht zu vergessen • erhöht die Objektiviät, Glaubwürdigkeit und Reproduzier-barkeit des Gutachtens • Außerdem ist eine solche Checkliste hilfreich, wenn es darum geht, Vorgänge zu planen, zu überwachen und anzuleiten und deren Ergebnisse zu bewerten. In der Evaluationsfachsprache sind Checklisten sowohl bei formativen als auch summativen Evaluationen hilfreich. • (Nach: Scriven, M. The Logic and Methdology of Checklists. Western Michigan University. 2000, 2007)

17. Checklisten sind nicht gleich gemacht – • mehr schlechte als gute Checklisten? • schlechte Checklisten: ungenau, unpräzis, zu lang, schwer in der Benutzung, unpraktisch • gute Checklisten: präzis, effizient, auf den Punkt, einfach in der Benutzung, enthalten Erinnerungen (nicht erschöpfende), praktisch. Normalerweise nicht mehr als 5-9 Punkte.

18. Arten von Checklisten • Listen (mnemonisch) – bspw. Einkaufszettel, Wäscheliste – Schwerpunkt Gruppierung • Sequenzielle Checklisten – Wichtigkeit der Reihenfolge: • stark sequenziell, wenn die Reihenfolge (einiger oder aller zu prüfender Punkte) beachtet werden muss, um zulässige Ergebnisse zu erhalten. • schwach sequenziell, wenn die Reihenfolge wichtig ist, aber eher aus psychologischen oder Effizienzgründen als aus logischer oder physischer Notwendigkeit.

19. Iterative Checklisten sind im Ganzen oder teilweise sequenziell, aber setzen mehrfache Durchgänge voraus bzw. können diese voraussetzen, um einen stabilen Messwert für jeden zu prüfenden Punkt zu erreichen. Diagnostische Checklisten, wie sie beispielsweise von Systematikern, Mechanikern und Toxikologen verwendet werden, unterstützen typischerweise eine klassifikatorische Schlussfolgerung, welche deskriptiv oder wertend sein kann. Die wahrscheinlich wichtigste Checkliste für Evaluationszwecke ist die Criteria of Merit Checkliste (COMlist). Diese benutzen Preisrichter, wenn sie Skate-, Grill- oder Agrarerzeugniswettbewerbe bewerten (und, natürlich bei der Beurteilung sprachlicher Performanz).

20. Zentrale Voraussetzungen für COMlists /CriteriaofMerit • Die meisten sind selbsterklärend und beziehen sich auf die Kriterien oder Prüfpunkte, die eine COMlist ausmachen: • Die Prüfpunkte sollten sich auf Kriterien und nicht bloße Indikatoren beziehen. • Die Listen sollten vollständig sein (keine wesentlichen Auslassungen). Die einzelnen Punkte sollten zusammenhängend sein, sich also nicht überschneiden (unerlässlich, wenn die Liste zur Punktebewertung benutzt wird). • Die Kriterien sollten messbar sein. • Die Kriterien sollten eindeutig sein (verständlich, anwendbar). • Die Liste sollte prägnant sein (um die mnemonischen Funktionen zu unterstützen). Sie sollte bspw. keine überflüssigen Kriterien enthalten. • Die Kriterien sollten beweisbar sein (bspw. messbar oder zuverlässig ableitbar). • (Scriven, 200, 2007)

21. Positive Entwicklungen • Wissenslücken bzw. Unwissenheit vermindernd: angemessene Richtlinien bewährter Verfahren • Mit der Transparenz geht es voran: auf dem Feld der Verknüpfung von Prüfungen mit dem GER wird geforscht und brauchbare Forschungsergebnisse werden zugänglich. • Schulungen zum Sprachtesten /-bewerten sind zunehmend verfügbar (EALTA, ALTE). • Folglich haben wir zunehmend bessere Chancen, die Dinge richtig zu machen. • Scriven, M. (2000/2007). The LogicandMethodologyof Checklists. Western Michigan University. • Gawande, A. (2010). The checklist manifesto. Howtogetthingsright. London: Profile Books.