Summary: In
diesem
Artikel werden die Probleme aufgezeigt, auf die die externe Evaluation
in
Südtirol mit den Unterrichtsbesuchen gestoßen ist.
Es handelt sich um
grundsätzliche Fragen der Evaluation, die auch in anderen
Systemen auftauchen
können und mit denen sich die
3. Ablaufplan
für Schulversuche
4.
Zur
Problematik des Unterrichtsbesuchs
a.
Die Reliabilität der Unterrichtsbeobachtung
5.
Andere kritische Aspekte im Zusammenhang mit der Unterrichtsbeobachtung
a.
Wenige und kurze Unterrichtsbesuche
b.
Rückmeldung an den falschen Adressaten
Das Evaluationsmodell in Südtirol fußt auf dem Landesgesetz 12/2000 („Autonomiegesetz“), das in den Artikeln 16 und 17 die interne und die externe Evaluation vorsieht. Das Ziel ist die Sicherung und Steigerung der Qualität der Dienstleistung des Schulsystems und der einzelnen Schulen.
Der
internen Evaluation wird
dabei eindeutig der Vorzug gegeben, sie steht über der
externen, die jedoch
auch andere Aufgaben hat, die man in anderen Ländern nicht
unbedingt mit
externer Evaluation verbindet. Zu Beginn der Arbeit der
Das
Landesgesetz verwies auf eine
damals noch zu verabschiedende Durchführungsverordnung, die
dann im Frühjahr
2003 herauskam. Die Durchführungsverordnung regelte
für jede Sprachgruppe die
Errichtung je eines
Die
Durchführungsverordnung
beschrieb die Aufgaben des
Der
deutsche
Vom Trentiner Modell wurden in das deutsche Südtiroler Gesamtkonzept übernommen:
- die Teilnahme an internationalen Großuntersuchungen (für Südtirol vornehmlich PISA, die Trentiner nehmen regelmäßig auch an TIMSS teil)
- fokussierte Evaluationen zu bestimmten Themen in Südtirol
- die Teilnahme an gesamtstaatlichen Leistungserhebungen
In
das Gesamtkonzept sind auch
Elemente der österreichischen Schulevaluationsforschung
eingeflossen. Der Universitätsprofessor
für Schulpädagogik und Leiter des
Institut
für LehrerInnenbildung und Schulforschung der
Universität Innsbruck Prof.
Zu jener Zeit (Frühjahr 2004) stand bei den „Rechtenthaler Gesprächen“ in Tramin das Thema Evaluation im Brennpunkt. Die Rechtenthaler Gespräche werden vom Pädagogischen Institut organisiert und sind eine alle zwei Jahre wiederkehrende Veranstaltung an der Fortbildungsakademie Schloss Rechtenthal in Tramin, wo jeweils ein bildungspolitisches Thema beleuchtet wird. Dazu werden Experten aus dem In- und vor allem aus dem Ausland eingeladen.
Im
Mittelpunkt der Veranstaltung
stand im Frühjahr 2004 Herr Lohmann mit seinem
„Modell Niedersachsen“, das
damals noch die Rohform des heute in Niedersachsen
flächendeckend durchgeführten
Schulinspektionsmodells war. Für die an den Rechtenthaler
Gesprächen
teilnehmenden, in Sachen Evaluation unvoreingenommenen Mitglieder des
Die
ein Jahr später eingesetzte
italienische
Im
Gegensatz zu
anderen Ländern in Europa, in denen sich
ein Evaluationssystem bereits etabliert hatte, schien das
Südtiroler System in
der deutschen Schule gleich zu Anfang überfrachtet,
insbesondere wenn man an
den Personalstand denkt, als über weite Zeiträume,
besonders in den ersten drei
Jahren nur drei Personen an der
In vielen anderen Ländern können sich die Schulinspektoren bei ihrer externen Evaluation auf die Inspektion einzelner Schulen konzentrieren.
Die
Evaluatoren konnten zu Beginn
ihrer Tätigkeit an einer zweiwöchigen
Ausbildungshospitation in Niedersachsen
teilnehmen. Diese intensive Lernphase war sehr wichtig für die
weitere Arbeit. Sie
gab eine guten Einblick in die Möglichkeiten der Umsetzung von
Schul- und
Unterrichtsbesuchen in einem anderen Schulsystem und ließ
gute Vergleiche zu
unserm System der autonomen Schulen zu. Wir haben in dieser Zeit sehr
viel
gelernt, konnten aber auch feststellen, dass in unserm Schulsystem das
Evaluationsgebaren
von Niedersachsen nicht übernommen werden konnte, wie es
eigentlich die Absicht
des
Lernen und Lehrern
Schulklima
Beziehungen nach außen
Schulführung
Professionalität
Ergebnisse
mit den dazugehörigen Merkmalen (18), Teilmerkmalen, Anhaltspunkten und Indikatoren, der von nun an die Grundlage für die Evaluation der Einzelschule war. Parallel dazu entstanden ein Glossar, über das wir festlegten, an welchen Definitionen wir uns orientierten (z. B. interne Evaluation, Selbstevaluation usw.) und ein Tätigkeitsverständnis (eine Art Ethikkatalog für Evaluatoren).
Es
war vorgesehen, dass sich
zunächst eine Reihe von Schuldirektionen freiwillig melden
konnten, später war
neben der freiwilligen Meldung auch die Zufallsauswahl durch die
Es wurde ein Ablaufplan für Schulbesuche (das Wort Inspektion vermeiden wir tunlichst, weil es stark negative Konnotationen hat und bei den Lehrern Angst und Ablehnung hervorruft) definiert.
Dieser sieht für die Evaluation einer Schule (hiermit ist stets – wie oben erwähnt – ein Schulsprengel mit einem Bündel an schulischen Einheiten aus verschiedenen Schulstufen gemeint) folgende Schritte vor:
Vor dem eigentlichen Schulbesuch:
- Vorgespräch mit der Schulleitung zur Klärung organisatorischer Belange.
- Deskresearch über die interne Evaluation und die Schuldokumentation der ausgewählten Schule. Die Schulen sind gesetzlich zur internen Evaluation/Selbstevaluation verpflichtet und legen die angewandten Methoden dem Evaluationsteam vor. Auch zur Erstellung eines Schulprogramms sind die Schulen verpflichtet, das von den Evaluatoren überprüft wird. Weitere Dokumente, die das Profil und die Tätigkeiten der Schule charakterisieren, sind ebenso einzusenden. Welche Dokumente das sind, wird mit der Schule in einem Vorgespräch geklärt und passt sich an den Schultyp an. Das kann bei einer Oberschule der letzte verfügbare Notenspiegel sein; aber auch die Dokumentation zu besonderen Projekten sowie die Vereinbarungen und Verträge mit außerschulischen Trägern von Bildungsangeboten (z. B. Musikschulen) können eingesehen werden. Dabei kümmert sich das Evaluationsteam ausschließlich um die inhaltlichen Anliegen, die rechtlichen und finanziellen sind Angelegenheit der mit dem Autonomiegesetz ebenfalls eingerichteten und bereits seit 2001 tätigen Revisoren. Einige Zahlen über die Schulen und das Schulsystem stehen dem Evaluationsteam über das Schulamt oder andere öffentliche Einrichtungen von Amts wegen zur Verfügung.
- An Eltern, Lehrern und Schülern werden Fragebögen verteilt und dann eingeholt. Die Fragebögen sind auf die jeweilige Gruppe abgestimmt und von unterschiedlicher Länge. Für die Eltern von Kindern mit Migrationshintergrund sind die Fragebögen nach Möglichkeit in der jeweiligen Muttersprache abgefasst, dies wird für die gängigsten Sprachen der Immigranten gewährleistet. Aus den Fragebögen ergeben sich Schwerpunkte für die mündlichen Befragungen.
Während des Schulbesuchs:
- Ausführliches Gespräch mit dem Direktor/der Direktorin und eventuell dem Leitungsteam
- Interviews oder Ratingkonferenzen mit Lehrervertretern, Elternvertretern, Schülervertretern
- Interview des Sekretariatspersonals und der Schulwarte
-
Schulrundgang
-
Klassen-
bzw.
Unterrichtsbesuche
Aufgrund der Erfahrungen bei einem knappen Drittel aller Schulen kann gesagt werden, dass jedes dieser Elemente aufgrund seiner ihm eigenen Ausprägung zu einer Beurteilung der Qualität des Bildungsangebots beiträgt und zu einem Gesamtbild formt. Es gehen quantitative Elemente (die Ergebnisse der Fragebögen) sowie qualitative Aspekte (aus den Gesprächen) in die Begutachtung ein. Schwierig zu bewerten ist der Bereich „Ergebnisse“, da es – anders als im Trentino – noch keine systematischen und flächendeckende Lernstandserhebungen gibt. Einige Abgängerbefragungen (nur Oberschulen) und freiwillige Teilnahmen an den INValSI-Tests reichen für eine Begutachtung kaum aus. PISA erfasst die Fünfzehnjährigen, also Schüler/innen, die gerade erst von der Mittelschule in die Ober- oder Berufsschule übergetreten sind. Dadurch, dass wir als eine Art PISA-Zentrum für unser Land fungieren, wissen wir ziemlich gut Bescheid darüber, welche Leistungsfähigkeit die Schüler/innen haben, die die erste oder zweite Klasse einer Oberschule besuchen (Alle Ober- und Berufsschulen werden bei uns mit PISA erfasst – es ist ein Zensus. An der Schule selbst werden dann die üblichen Stichproben gezogen.) Wir wissen aber nicht, wer für die Leistung (oder zumindest für den Teil, den sich eine Schule zuschreiben darf) verantwortlich ist, weil wir nicht wissen, woher – also von welcher Mittelschule – die Schüler kommen. Deshalb bleibt der Bereich „Ergebnisse“ trotz PISA-Erkenntnissen problematisch.
Der Schwerpunkt des Qualitätsrahmens ist der Bereich Lernen und Lehren; dazu haben wir 7 von den insgesamt 18 Merkmalen des Qualitätsrahmens vorgegeben:
- Vermittlung von Sach- und Fachkenntnissen
- Vermittlung überfachlicher Qualifikationen
- Lernformen und Lehrmethoden
- Beratung und Beurteilung
- Lernklima
- Lernmittel und Lernumgebung
Alle Komponenten der Schulinspektion tragen zur Ausgestaltung dieses Bereichs bei, sowohl die Dokumentenanalyse wie auch die Interviews, Gespräche und Ratingkonferenzen, ja sogar der Schulrundgang und das Gespräch mit dem Verwaltungspersonal. Am wenigsten abgewinnen kann man für den Bereich Lernen und Lehrern aufgrund unserer Erfahrung dem Unterrichtsbesuch. Dies sei nachstehend näher erläutert. Zum Begrifflichen: es ist heute möglicherweise obsolet von „Unterrichtsbesuch“ zu sprechen, weil der Frontal-Unterricht im traditionellen Sinne vor allem in der Grundschule von modernen Lernformen zurückgedrängt wird. Wir denken an offene Lernformen, Projektarbeiten, Lernstationen, wo die Lehrerin/der Lehrer viel mehr als Berater und Organisatoren wirken denn als Lehrende. Viele lernrelevante Mechanismen laufen außerdem auf der Ebene der Klasse ab, unabhängig vom Unterrichtenden. In diesem Sinne sollte man von „Klassenbesuchen“ sprechen, was aber auch nicht ganz den Kern der Sache trifft, wenn man bedenkt, dass bei vielen Lernformen und Umsetzungen der Schulreform der Klassenverband aufgelöst wird. Vielleicht sollte man bisweilen an „Lernbeobachtung“ denken und diesen Begriff für die Evaluationspraxis so definieren, dass er in die heutige Schulsituation passt.
Die
Allerdings wollte man sich nicht auf ein fixes Instrumentarium festlegen, da die Situationen im Unterrichtsorganisatorischen vor allem im Pflichtschulbereich zu verschieden sind. Ein festes Instrumentarium, auch wenn es an die jeweilige Schulstufe und an den Schultyp angepasst worden wäre, wäre sehr einengend gewesen und hätte gleichzeitig möglicherweise wichtige Momente, die gerade die besondere Charakteristik einer Schule bzw. einer Klasse sind, ausgespart.
Dennoch wurde ein Leitfaden zur praktikableren Handhabung des Besuchs entwickelt, so dass zumindest eine gewisse Effizienz durch Ankreuzen verschiedener im Leitfaden vor-beschriebener Situationen erreicht werden kann.
Das Instrumentarium der Unterrichtsbeobachtung zählt in vielen Ländern und Regionen (vor allem in der Bundesrepublik Deutschland) zum Herzstück der gesamten externen Evaluation. Es wurden ausgefeilte Beobachtungsraster entwickelt, konkret an den Schulen erprobt und aufgrund der Erfahrungen immer wieder verbessert. Die Beobachtungsraster haben meist Wertungscharakter und führen zu quantitativen Ergebnissen, die weitere Berechnungen ermöglichen. Diese Standardisierung kann sinnvoll sein, falls der Untersuchungsgegenstand, nämlich der Unterricht selbst, sich in strukturierten, vorhersehbaren, von Fall zu Fall vergleichbaren kanonischen Bahnen bewegt. Die zahlenmäßige Erfassung der Unterrichtsqualität ermöglicht auch die Setzung von Schwellenwerten. Wenn diese Schwellenwerte nicht erreicht werden, ist die Unterrichtsqualität eben nicht ausreichend. Diese Werte sind aber nicht einfach simple und für alle Merkmale gleiche Stufenwerte, sondern gestalten sich teilweise als komplexe Bedingungsgeflechte, mit denen man versucht, eine gerechte und für den Kunden, den Schüler/die Schülerin bzw. deren Eltern, adäquate Qualitätsbewertung zu gewährleisten, die sich nicht mit einer mittelmäßigen Leistung begnügt. In einigen Ländern verzichtet man auf eine zahlenmäßige Gesamtbewertung der Einzelschule und zieht es vor, es bei einer Bewertung einzelner Merkmale zu belassen.
Dieses oder ähnliche Systeme scheinen bei den Schulbehörden vieler Länder in Deutschland aber auch anderswo in Europa auf Zustimmung zu stoßen. Bei uns ist diese Vorgangsweise schlicht nicht möglich. Es gibt eine weitgehende Lehrfreiheit, wobei sich die Freiheit in der Methode innerhalb sehr weit und allgemein gefasster Lehrpläne bewegt und auch die Schwerpunktsetzung sowie die zeitliche Abwicklung der Fachjahrespläne ziemlich frei sind. Unter solchen Voraussetzungen ist der Einsatz eines brauchbaren einheitlichen Rasters schwierig.
Auf einem Kongress in Herne (NRW) trafen sich vom 10. 12. 2007 bis zum 12. 12. 2007 Evaluationsverantwortliche aus allen Ländern der Bundesrepublik und aus den Niederlanden um über die Reliabilität von Unterrichtsbeobachtungen und über Messmethoden dazu zu berichten.
Es wurden eine Reihe von nützlichen Instrumenten zur Messung der Reliabiltät von Unterrichtsbeobachtungen vorgestellt und über die Erfahrungen und Maßnahmen in der praktischen Anwendung gesprochen. Es konnte sehr gut aufgezeigt werden, dass Reliabilität der Beobachtungen und Messungen bis zu einem hohen Grad bewerkstelligt werden können, wenn die Instrumente entsprechend ausgefeilt sind und wenn gleichzeitig auch die Evaluatoren mit Gespür ausgewählt und gründlich ausgebildet werden. Einige Beispiele zu den Vorträgen: Gerry Reezigt: „How reliable is the individual inspector?“ und Rob de Jong & Gerry Reezigt: „Interraterreliability of inspectors“. Es ist darauf hinzuweisen, dass in den Niederlanden es bereits eine längere Tradition mit externer Evaluation, die Schulvisitationen beinhaltet, besteht. Die Forscher können deshalb auch auf reichhaltiges Datenmaterial zurückgreifen. Alter, Geschlecht und Schulerfahrung der Inspektoren spielen nach ihren Erkenntnissen bei der Beurteilung eine nicht zu vernachlässigende Rolle. Auch der Vortrag von Andreas Helmke „Validität von Unterrichtsbeobachtungen“ befasste sich in seinem ersten Teil mit der Reliabilität. Er schlüsselt den Begriff nach verschiedenen Herangehensweisen an dieses Gütekriterium auf und bringt jeweils Beispiele: 1) Konsistenz, 2) „split half“, 3) „retest“ 4) „Interraterreliabilität“. Helmke gibt zu, dass Daten zur Prüfung von Gütekriterien wie der Reliabilität bei der regulären Schulinspektion nur beschränkt anfallen. Es seien deshalb geeignete Erhebungen im Rahmen von Pilotierungen bzw. im Rahmen des (Re-) Trainings, der Aus- und Weiterbildung der Inspektoren / Evaluatoren erforderlich[3].
Um die konkrete Reliabilität von Unterrichtsinspektionen in einem bestimmten Land oder in einer bestimmten Region zu messen, sind auf jeden Fall sehr viele und reichhaltige Daten notwendig. Diese Datenvielfalt können nur Einheiten mit einer längeren Tradition in der Schulinspektion aufweisen. Das ist bei uns nicht der Fall. Wir können bestenfalls auf Erkenntnisse in anderen, ähnlichen Regionen zurückgreifen und in Analogie dazu von einer auch bei uns vermuteten Reliabilität sprechen.
In Südtirol gibt es, stärker als in größeren Zusammenhängen, Probleme mit der Objektivität. Diese Probleme entstehen nicht so sehr dadurch, dass die Beurteilung Ausdruck von subjektiven Unterrichtstheorien (bei den Evaluatoren) sei. Auch festgefahrene Urteilspräferenzen bei den Ratern können vermieden oder deren Auswirkung verringert werden, zumal die Zusammensetzung der Evaluatorenpaare ständig wechselt und sich der einzelne Rater damit auf einen jeweils neuen Partner einstellen muss. Dadurch erhofft man sich auch eine zunehmende Objektivierung des Raterurteils. Es ist vielmehr so, dass die Evaluatoren viele Schulen, praktisch alle Schulleiter und eine beträchtliche Anzahl Lehrer kennen und teilweise mit ihrer (Schul-)Entwicklungsgeschichte, ihrer Position in der Gesellschaft und ihrem Ruf in der öffentlichen Meinung vertraut sind. Es ist nicht immer leicht, sich ein unvoreingenommenes Urteil zu bilden, aber man bemüht sich darum.
Ebenso verhält es sich mit der Validität der Beurteilungen. Grundvoraussetzung für die Validität ist eine gesicherte Reliabilität und eine garantierte Objektivität. Nach Helmke ist die Validität der Unterrichtsbeobachtung einigermaßen gesichert, wenn bestimmte strenge Voraussetzungen erfüllt sind. Generell ist Unterrichtsbeobachtung dann valide, wenn sie Urteile über die „Unterrichts-qualität“ oder „-kultur“ einer Schule erlaubt. Dabei ist eine ausreichende Ausschöpfung der Klassen-/Lehrerstichprobe pro Schule vonnöten (Helmke 2007).
Auch zu diesem Gütekriterium schlüsselt Helmke verschiedene Zugänge auf und erläutert sie mit Beispielen. Er spricht von Inhalts- und kriterialer Validität, von Konstruktvalidität und von faktorieller Validität.
Sehr ausführlich und gründlich befassten sich auch Holger Gärtner und Hans Anand Pant bei der Tagung in Herne 2007 mit dem Thema Validität. In ihrem Vortrag: „Empirische Ansätze zur Validierung von Schulinspektionen“ räumen sie ein, dass in Deutschland noch kaum Erkenntnisse vorliegen und empirische Projekte zu einzelnen Aspekten erst am Anfang stehen.
Die Problematik der Beurteilungen, die über die Unterrichtsqualität getroffen werden sowie die Qualität der Beurteilungen selbst, ist, wie man sieht, in den Ländern, in denen ein Evaluationssystem eingerichtet ist, durchaus ein wichtiges Thema. Die Diskussion um dieses Thema ist auch durch Rankings entfacht worden, die von den Medien veröffentlicht worden sind. In der Wissenschaft und Bildungsforschung gelten undifferenzierte Schulrankings gemeinhin als Unsinn. Vor allem die Aggregierung der erhobenen Daten zu einer Wertungszahl ist sehr problematisch. „Von der Bildung eines globalen Gesamturteils (sei es in Form notenähnlicher Urteile oder in Form von Mittelwerten) ist aus theoretischen und methodischen Gründen dringend abzuraten“ (Helmke 2007). Eine Gefahr besteht auch darin, dass Zahlen, wenn sie einmal gebildet sind, ein Eigenleben annehmen. Sie erhalten den Nimbus der Absolutheit und werden nicht mehr hinterfragt. Vor allem das Skalenniveau wird in unzulässiger Weise erhöht, Werte mit höchstens Ordinalcharakter werden unversehens zu Zahlen der Rationalskala. Und so sieht man denn plötzlich gestandene Inspektoren gewichtete Mittelwerte und Standardabweichungen bilden mit Werten, die es nicht einmal verdienen zusammengezählt zu werden.
Die Zahlenbildung aus den Beobachtungen war mit ein Grund, dass Südtirol das Evaluationssytem von Niedersachsen nicht zur Gänze übernommen hat. Dabei soll das System Niedersachsen in diesem Punkt keineswegs kritisiert werden, da es einerseits sehr ausgefeilt ist und in einer angemessenen Erprobungszeit durchgetestet werden konnte und andererseits in einer doch ziemlich anderen Schulrealität dort seine Berechtigung finden mag. Auf unser System ist es vor allem wegen der fehlenden Reliabilität, der nicht ganz gesicherten Objektivität, der (bei uns) völlig fehlenden Validität und nicht zuletzt wegen der ziemlich anderen Schwerpunktsetzung (Schul- und Unterrichtsbesuche bilden anders als in Niedersachsen bei uns nur einen und sicherlich nicht den wichtigsten Teil der gesamten Evaluationsgebarung) nicht auf das Evaluationssystem in Südtirol übertragbar.
Von den rund 30000 Unterrichtsstunden in einem Schuljahr in einem kleineren bis mittelgroßen Schulsprengel werden beim Schulbesuch höchstens 30 inspiziert. Das ist ein Tausendstel; das Verhältnis reduziert sich noch weiter, wenn man bedenkt, dass die Evaluatoren höchstens fünf bis zwanzig Minuten in einer Klasse bleiben können. Statistisch ist die Datenbasis damit sehr gering, von Reliabilität oder anderen Gütekriterien ganz zu schweigen. Solcher Art Unterrichtsbeobachtungen können schon aus zahlenmäßigen Gründen nur mit größter Vorsicht zu Urteilsbildungen herangezogen werden. Der Zufall, der Augenblick, die gegenwärtige Situation spielen eine zu große Rolle und es besteht eben nicht einmal die theoretische Möglichkeit, durch genügend große Anzahlen den Zufall auszumitteln.
Man mag einwenden, dass bestimmte Lehrerverhaltensweisen über die Zeit hinweg konstant bleiben und relativ schnell beobachtet werden können. Die Non- und paraverbale Kommunikation, die Körpersprache, die Klarheit im Ausdruck, die Schüleraktivierung durch den Lehrer, die Lernatmosphäre sind beobachtbar und lassen sich nicht kurzfristig ändern, weshalb ein erster Eindruck, eine erste Erhebung auch auf längere Sicht Gültigkeit haben mögen. Damit sind wir aber unversehens wieder beim Lehrer als Person angelangt. Und auch bei der Beurteilung dieser diachronischen Verhaltensmuster ist Subjektivität nicht vermeidbar. Die kurze Beobachtungszeit reduziert die Subjektivität nicht, im Gegenteil. Der Evaluator stützt sich schon aus Gründen der kognitiven Überforderung noch stärker auf persönliche und seinem Gefühl nach bewährte Unterrichtstheorien.
Bei Unterrichtsbeobachtungen im Team haben wir die interessante Feststellung gemacht, dass die Interraterreliabilität mit der Kürze der Klassenbesuche steigt. Je kürzer man in einer Klasse ist, desto besser stimmen die Urteile innerhalb des Teams überein. Dies bedeutet aber nur, dass beide Rater von ähnlichen Unterrichtstheorien ausgehen und diese Tatsache spricht an sich nicht für die Objektivität der Beobachtung.
Bei unseren Klassenbesuchen werden wir häufig gebeten, der beobachteten Lehrperson eine Rückmeldung über den Besuch zu geben. Dies ist in unserem Modell (wie auch in dem anderer Länder) nicht vorgesehen. Die Rückmeldung wird der Schule gegeben. Dies empfinden manche Lehrpersonen als unfair. Es wird an einer Stelle etwas beobachtet, was ohne Feedback-Gespräch an einer anderen, nicht unabhängigen Stelle gemeldet wird, wenn auch in aggregierter Form. Wenn es nicht gelingt die Beobachtung völlig frei zu halten von Merkmalen, die mit der Person des Lehrers zu tun haben, ist die Sache höchst problematisch - auch vom rechtlichen Standpunkt, wie manche Lehrer meinen. Bereits die Beziehungsebene ist unklar: beim Inspektor weiß man woran man ist, ebenso beim Direktor, nicht aber bei den Evaluatoren, die in keinem hierarchischen Rechtsverhältnis zu den Lehrern stehen und eine Funktion ausüben, die in der Regel im Moment der Beobachtung nicht klar ausgehandelt oder festgelegt ist. Mit McGregor [4] könnte man sagen, die Evaluatoren fühlen sich unbehaglich, weil sie in die Situation kommen, „Gott zu spielen“. Sie kommen in Gefahr „Fähigkeiten und vor allem Eigenschaften eines anderen Menschen (zu) beurteilen, ohne über vollkommene Informationen zu verfügen. Sie spielen Gerechtigkeit, obwohl sie auf ihre eigene begrenzte wahrnehmungs- und Informationsverarbeitungsfähigkeit angewiesen sind. Sie müssen beurteilen, ihre Kreuze auf dem Formular verteilen, obwohl sie bei vielen Merkmalen lieber die Finger davon lassen würden.“[5]
Diese Lehrerbeurteilung steht den Evaluatoren nicht zu, sie ist ausschließlich den Inspektoren im Auftrag des Schulamtsleiters vorbehalten, der sie auf Antrag des Direktors zu bestimmten Lehrpersonen an die Schule schickt.
Es ist jedoch kaum möglich eine Unterrichtsbeurteilung vorzunehmen, die von Lehrereigenschaften und deren Einfluss auf das Lehrerverhalten absieht. Gleichzeitig sollten auch nur Verhaltensschemata beobachtet und herausgeschält werden, die auf Schulebene aggregierbar sind und bei denen man bei der Rückmeldung nicht auf die einzelne Person schließen kann. Solcherart Beobachtungsstränge sind rar.
Ein weiteres Problem des falschen Adressaten ist jenes der Eingriffsmöglichkeiten. Die Schule erhält in aggregierter Form Rückmeldungen, mit denen sie eigentlich nichts anfangen kann. In der Regel sind Defizite und Meriten bereits längst auf Schulebene bekannt und werden durch die Evaluation nur noch offiziell bestätigt, was aber einen nicht unerheblichen Wert hat. Die Schule ist jedoch der falsche Adressat, weil sie kaum Eingriffsmöglichkeiten hat.
Dr.
Immer wieder sehen Eltern und auch Lehrer/innen in der externen Evaluation, besonders wenn sie Unterrichtsbesuche durchführt, eine Hoffnung, bestimmte, in ihren Augen unhaltbare Situationen zu bereinigen. Es wird der Wunsch geäußert, endlich „aufzuräumen“. Man ist sich bewusst, dass die Direktion wenig Mittel in der Hand hat, Lehrpersonen, die im Unterricht nicht (mehr) tragbar sind, anderen Aufgaben zuzuführen. Die schulische Öffentlichkeit setzt dann zuweilen auf die externe Evaluation: immerhin eine öffentliche und neutrale Einrichtung, die in die Schule hineinschaut. Diese sollte das richten, wozu die Direktion nicht imstande ist. Dies ist nun ganz und gar nicht die Aufgabe der externen Evaluation und auf die Erwartung folgt bald die Enttäuschung.
Die obigen Ausführungen mögen recht kritisch zu den Unterrichtsbesuchen scheinen und es ist auch wichtig, dass die damit verbundenen Problematiken und Gefahren aufgezeigt werden, damit sie ins Bewusstsein rücken und bei der heiklen Praxis der externen (und auch bei der internen ) Evaluation auch stets im Hinterkopf präsent sind.
Es gibt durchaus Situationen, die beobachtet werden müssen und für die eine professionelle Außensicht nützlich ist. Es gibt nach unserer Erfahrung Situationen, wofür Handeln nottut und wo die Schule wichtige Schritte einleiten muss. Damit sollen nicht Einzelpersonen gemeint sein, für die die Inspektoren zuständig sind, in erster Linie aber die Direktion. Es sind Probleme gemeint, die möglicherweise schwer zu beobachten sind, aber die die Qualität des Dienstes einer Schule nachhaltig beeinträchtigen. Wenn z. B. die gängige didaktische Praxis in einem Fach auf Schulebene nicht zeitgemäß ist, so ist dies ein Fall für die externe Evaluation. Wenn es kaum Variationen in der didaktischen Aufbereitung des Lernstoffes in der Schule gibt oder wenn die Schüler/innen generell nicht ausreichend auf die nächste Bildungsstufe vorbereitet werden, so ist das für die Evaluatoren relevant. Auch positive Aspekte, wie z. B. neue Methoden, pfiffige didaktische Ideen, ebenso wie eine gut gründende konsequent umgesetzte pädagogische Tradition verdienen das Hinschauen der Evaluatoren, damit der Gewinn auf Schulebene verallgemeinbar wird und in das Schulsystem hineinwächst.
Deshalb ist es wichtig, dass die Evaluatoren die ihnen in die Hand gegebene Möglichkeit der Lernbeobachtung geschickt und fruchtbringend nutzen. Dies könnte gelingen, wenn man sich zu folgenden Haltungen und Vereinbarungen durchringt:
- Nicht alles beobachten wollen! Man soll sich auf Konstrukte beschränken, die inhaltlich bedeutsam und nachweislich relevant für den Erwerb von Kernkompetenzen sind. Allerdings greift das Ansinnen, sich nur billiger und leicht erhebbarer Merkmale anzunehmen, zu kurz. Man muss sich schon zumindest die Mühe machen, auch für schwer zu beobachtende Variablen valide Methoden zu finden.
- Verknüpfungen mit der internen Evaluation anstreben. Daraus ergeben sich möglicherweise Hinweise für eine machbare und ergiebige Beobachtung.
- Transparent machen der Absichten der Evaluatoren gegenüber den Lehrpersonen; gute, erschöpfende Absprachen mit dem Lehrkörper der Schule über die Abläufe und die Beobachtungsabsichten der Evaluatoren.
- Vorherige Absprachen mit der Fachgruppe, falls man die Beobachtungen auf ein bestimmtes Fach beschränken will.
- Sich Rückmeldung einholen bei den Schülerinnen und Schülern zu den beobachteten Stunden. Hier ist aber besonders darauf zu achten, dass diese Rückmeldung nicht zur Lehrerschelte entgleitet und auf Schulebene kondensierbar bleibt.
- Kollegiales Feedback zu den beobachteten Stunden. Austausch mit der Schule und mit mindestens allen betroffenen Lehrern über die beobachteten Ausprägungen.
Es sollte zudem garantiert werden, dass sämtliche eingesetzte Instrumente kontinuierlich überprüft und verbessert werden. Das kann laufend geschehen, auch inmitten eines Zyklus’, denn die Forderung, dass die Instrumente gleich bleiben müssen, wäre nur dann zulässig, wenn man einen Vergleich oder einen Wettbewerb zwischen den Schulen anstrebt. Das ist aber nicht der Fall.
Die aus der Unterrichtsbeobachtung gewonnenen Erkenntnisse sollten mit Daten aus anderen Quellen abgeglichen werden können. Das erhöht die Validität.
Wichtig ist auch, dass bekannt ist, wie die Evaluatoren ein Gleichgewicht zwischen Schule und Schulsystem herzustellen gedenken. Es gibt Variablen, deren Ausprägungen nicht der Schule, sondern dem Schulsystem zuzuschreiben sind, die aber das Schulleben auch auf der Ebene der einzelnen Schule gehörig beeinflussen. Diese Einsichten müssen, wenn sie nicht auf die einzelne Schule bezogen, sondern für das gesamte System relevant sind, dem Schulsystem in geeigneter Form zurückgemeldet werden und die Verantwortlichen sind gehalten, darauf zu antworten.
Damit macht man sich unserer Erfahrung nach auf den Weg ein vertrauenswürdiges Evaluationssystem aufzubauen, das auf die Mitarbeit der Betroffenen fußt.
Franz
Hilpold, von 2004 bis 2012 Kooordinator der Evaluationsstelle
für die deutsche Schule in Südtirol
E-Mail:
franz.hilpold@gmail.com
Mobiltelefon:
0039 333 6099264
[1] Rudolf Meraner, Gesamtkonzept zur externen Evaluation in der deutschen Schule in Südtirol, Bozen, Juli 2004
[2] Die neue Durchführungsverordnung zur Schulevaluation ist im Oktober 2006 verabschiedet worden und wurde mit dem Dekret des Landeshauptmanns Nr. 3 vom 8. Jänner 2007 rechtskräftig. Sie ist eine Abänderung der Durchführungsverordnung vom 4. Juni 2003, Nr. 22 und sieht nun auch Schulbesuche vor, denen sie einen eigenen Absatz widmet. Die Abänderung der ersten Durchführungsverordnung wurde von den drei Landesbeiräten beantragt, die in zähen Verhandlungen ein annehmbares Evaluationskonzept erarbeitet hatten. Auf dem Wege der Verabschiedung sind jedoch in wenig transparenter Weise so viele Abänderungen eingeflossen, dass die nun gültige Durchführungsverordnung mit den ursprünglichen Intentionen nur mehr wenig zu tun hat.
[3](Siehe auch: Helmke, A. (2007). Einblick in die Lehr-Lern-Situation. In T. Riecke-Baulecke, Schulleitung und Unterricht erfolgreich gestalten (S. 88-101). München, Oldenbourg.)
[4] McGregor 1972, S.134 entnommen aus R. Bessoth, „Lehrerberatung-Lehrerbeurteilung, 3. Auflage, Luchterhand: Neuwied, Kriftel, Berlin: 1994. Reihe: Luchterhand, Praxishilfen Schule
[5] Bessoth, 1994; „Lehrerberatung - Lehrerbeurteilung“, S. 119
[6] G. Battistel, Vortrag am 15.11.2007 beim Grundkurs „Externe Schulevaluation“ , Universität Bern.