Herr Meyerhöfer, am 3. Dezember werden die Ergebnisse der neuesten, inzwischen fünften PISA-Studie, PISA 2012 genannt, der Öffentlichkeit vorgestellt. Sie gehören von Beginn an zu den größten Kritikern dieses Programms [PDF – 89.4 KB]. Wogegen richtet sich Ihre Kritik?
Nun, ich habe ursprünglich mal versucht, mit Hilfe von PISA und ähnlichen Studien Wege zur Verbesserung von Schule zu finden. Dafür geben diese Studien aber nichts her. Zudem war es, als würden Sie ein Bild aufhängen wollen: Sie schlagen einen Nagel in die Wand und Schlag für Schlag bröckelt Ihnen die ganze Wand entgegen. Bei näherer Betrachtung erweist sich jedes theoretische und methodische Element von PISA als brüchig.
Ein Interview von Jens Wernicke.

Brüchig? Inwiefern?

Die vorgeblich verwendeten Theorien werden nicht zur Testerstellung verwendet, sie werden dem Test lediglich als Mäntelchen umgelegt. Die Tests selbst werden nach oberflächlichen Kriterien zusammengestückelt, es gibt nicht mal den Versuch darzustellen, was überhaupt gemessen wird. Das benutzte mathematische Modell beispielsweise eignet sich nicht für die Abbildung von Geistigem. Überdies zerstören die notwendig weichen statistischen Kriterien die sinnvolle Interpretierbarkeit der Daten. Die verwendeten Kompetenzstufenmodelle kann man mit Fug und Recht als Unfug bezeichnen. Und ganz nebenbei: Eine solch gründliche Zerstörung von Poesie wie der PISA-Deutschtest hat bisher noch nicht mal das mieseste Lehrbuch hingekriegt.

Wie muss ich mir das konkret im mathematischen Bereich von PISA vorstellen? Sie sind ja Mathedidaktiker…

Nun, ganz grundsätzlich gilt: Bei jeder nicht völlig trivialen Aufgabe gibt es stets viele Möglichkeiten, zur gewünschten Lösung, die aber nicht in jedem Fall die richtige sein muss, zu gelangen. Faktisch kann man also gar nicht benennen, welche Fähigkeit eine Aufgabe eigentlich misst. Das Konstrukt „mathematische Leistungsfähigkeit“, also das, was PISA hier angeblich misst, wird damit aber der Zufälligkeit preisgegeben. Das ist zwar nicht schlimmer als in einer Mathearbeit, steht aber einem immensen Mehraufwand bei standardisierten Tests gegenüber.

Ich verstehe kein Wort. PISA … misst Murks? Wie konkret?

Der Laie denkt, in der Mathematik käme es nur auf das Resultat an. Ein Test sollte aber herausfinden, was der Schüler konkret kann. Schon bei der Aufgabe 17+28 gibt es ja viele Wege, die ganz unterschiedliche Fähigkeiten anzeigen. Zählt der Schüler? Wenn ja, zählt er 17+28 oder 28+17? Rechnet er die Zehner und die Einer einzeln zusammen? Rechnet er schrittweise, beispielsweise also 28+10 – und wie rechnet er weiter? Muss er noch „über die 40 gehen“ oder landet er direkt bei der 45? Es kann sein, dass ein Schüler hier ein falsches Resultat produziert, aber mehr verstanden hat als einer, der ein richtiges Resultat produziert.

PISA bewegt sich nun aber in Klasse 9. Die mathematischen Inhalte sind dort deutlich komplexer als 17+28, und es gibt noch mehr Lösungswege. Man weiß nicht, welchen Weg ein Schüler gegangen ist. Die PISAner aber glauben, ihr banales Richtig-Falsch-Schema würde schon irgendwie ein sinnvolles Resultat ergeben. Nur haben sie eben keinerlei Vorstellung davon, wie dieses Sinnvolle zustande kommen soll.

Aber kann man die Aufgaben denn nicht einfach verbessern?

Ja, Sie könnten lauter wirklich scharf messende Aufgaben nutzen. Viele Tests für Geistiges sind ja genau deshalb so armselig, weil sie solch ein eindeutiges Messverfahren anstreben. Wenn Sie schon bei 17+28 nicht mehr wissen, welche Leistung Sie gerade konkret messen, dann können Sie sich vorstellen, wie primitiv eine Aufgabe sein muss, damit sie nur einen einzigen, klar benennbaren Lösungsweg hat. Dann aber eignet sich der Test ganz sicher nicht mehr als Schulleistungstest. Denn Schule soll ja gerade geistige Vielfalt und Reichhaltigkeit herausbilden. Das widerspricht präzisem Messen aber diametral.

Aber PISA will doch explizit „Mathematische Literalität“ testen. Das heißt, dass es ganz bewusst nicht mehr nur ums Rechnen geht und gehen soll, sondern eben darum „die Rolle, die Mathematik in der Welt spielt, zu erkennen und zu verstehen, begründete mathematische Urteile abzugeben“ etc., wie es in der PISA-Eigendarstellung heißt…

Von all dem kann angesichts der realen Aufgaben aber keine Rede sein. Ich habe bereits in der ersten PISA-Runde alle Mathe-Aufgaben untersucht, auch die verheimlichten. Und dabei stellte sich heraus, dass weder die gestellten mathematischen Probleme noch die angeblichen realen Probleme ernst genommen werden dürfen, um zur „Lösung“ der Aufgabe zu gelangen. Stattdessen muss man sich auf das konzentrieren, was die Tester angekreuzt oder hingeschrieben haben wollen. Prinzipiell erweist es sich dabei als besonders günstig, mittelmäßig zu arbeiten und auf intellektuelle Tiefe in der Auseinandersetzung mit den Aufgaben zu verzichten. Die Rolle, die Mathematik in der Welt spielt, wird entgegen der Behauptung bei PISA jedoch gerade nicht erkundet.

Würden Sie denn behaupten, dass PISA in diesem Sinne unwissenschaftlich ist?

Das kommt darauf an, was man für Wissenschaft hält. Wenn Wissenschaft das ist, was die Meinungsführer unter jenen Leuten sagen, die von der Regierung das meiste Geld für etwas bekommen, was „Wissenschaft“ genannt wird, dann ist PISA natürlich Wissenschaft. Im Mittelalter gehörten in diesem Sinne die elaboriertesten Theorien zur Hexenverbrennung ja auch der wissenschaftlichen Speerspitze an. Wenn Sie hingegen an ein wissenschaftliches Messinstrument den Anspruch haben, dass benennbar ist, was überhaupt gemessen wird, dass das Instrumentarium der wissenschaftlichen Debatte zugänglich ist, dass das verwendete mathematische Modell zum Gegenstandsbereich passt und dass die Stichprobe bestimmten Kriterien genügt, dann würde man das PISA-Instrumentarium sicherlich eher in den Grenzbereichen des Wissenschaftlichen verorten.

Im Vorwort des wissenschaftlichen Sammelbandes „PISA zufolge PISA“ [PDF – 7 MB] von Stefan Thomas Hopmann und anderen heißt es, die dort publizierten 18 Beiträge von Forscherinnen und Forschern aus 7 europäischen Ländern zusammenfassend, denn auch in aller Deutlichkeit, ich zitiere:

„Das PISA-Projekt ist offenkundig mit so vielen Schwachstellen und Fehlerquellen belastet, dass sich zumindest die populärsten Endprodukte, die internationalen Vergleichstabellen sowie die meisten nationalen Zusatzanalysen zu Schulen und Schulstrukturen, Unterricht, Schulleistungen und Problemen wie Migration, sozialer Hintergrund, Geschlecht usw., in den bisher praktizierten Formen wissenschaftlich schlicht nicht aufrecht erhalten lassen.“

Genau darum geht’s.

Sie sträuben sich also prinzipiell gegen eine Vermessung von Geistigem?

Man muss sich klar machen, was man will und was das dann kostet. Ein wirklich präziser Messprozess ist tatsächlich nur möglich, wenn man ganz eng eingrenzt, was man messen will. Eine solch präzise Messung umfasst immer nur ein kleines Gebiet. Wer in zwei Stunden so etwas Großes wie „mathematische Leistung“ messen will, der vergewaltigt das Geistige, denn er tut so, als ob das Lösen einiger vorgestanzter Aufgaben bereits dieses Große selber wäre.

Meine Setzung ist schlicht, dass Schule zu geistigem Reichtum führen soll. Den aber kann ich nicht mit engen Aufgaben erfassen. Wenn die Menschenmesser wenigstens präzise offenlegen würden, was genau sie messen oder zu messen glauben, dann hätte ich auch nichts gegen die Vermessung von Geistigem. Ich habe sogar gezeigt, wie man mit der Methode der Objektiven Hermeneutik eine solche präzise Benennung leisten kann. Dann würde man aber eben auch sehen, dass PISA ausschließlich etwas misst, das tatsächlich bedeutungslos ist.

PISA wird von der OECD organisiert. Man mag daher nicht recht glauben, dass das Testen in dem von Ihnen angedeuteten Sinne dem reinen Selbstzweck dient … Andererseits kann doch auch die OECD kein Interesse daran haben, allerorten Testeritis auszulösen ohne dass dabei wirkliche Qualitätsverbesserungen für das Bildungssystem herausspringen?

Die OECD will mit PISA offenbar erreichen, dass die Institution Schule zukünftig in stärkerem Maße wirtschaftlichen Interessen zuarbeitet. Das hat sie inzwischen übrigens auch schon erreicht, denn mit den Bildungsstandards und den zugehörigen Tests wird der Schule ja gerade das letzte kritische Element gründlich ausgetrieben. Sie soll fortan einfach brauchbares, nein brauchbareres Menschenmaterial produzieren.
Es geht aber wohl auch darum, das Bildungswesen immer stärker zu privatisieren. Und so was können Sie nur legitimieren, wenn Sie die Illusion erzeugen, dass die privaten Anbieter alle eine ordentliche Qualität erzeugten – und dass schlechte Qualität allerorten gleichermaßen selektiert wird. Dazu müssen Sie am Ende einfach alle Schulen mit dem gleichen Test vergleichen. Dann schreiben Sie ein Handbuch, das den Unterricht auf den Test hin strukturiert, und schon können Sie auch unqualifiziertes und billiges Personal vor die Klasse stellen. Die Bildungsstandards bereiten in diesem Sinne die umfassende Entprofessionalisierung der Lehrerschaft vor. Nach der Finanzkrise hat man ja in allen gesellschaftlichen Bereichen gemerkt, dass ein rein marktförmiges Denken zu schlechten Problemlösungen führt. Ausgerechnet in Bildung und Wissenschaft fährt die Politik weiter brachial in diese Sackgasse hinein.

Bedeutet Ihre Kritik an PISA denn umgekehrt, dass Deutschland in der Länderrangreihe eigentlich besser dastehen müsste?

Wenn Sie einen so komplexen Test wie PISA machen, dann müssen Sie sehr viele statistische Entscheidungen treffen. Man fummelt dann mit einer gewissen Pragmatik an den Daten rum und weicht aus quasipolitischen Gründen von den vorher aufgestellten Grundsätzen ab. Joachim Wuttke hat schon vor rund 10 Jahren die PISA-Daten nachgerechnet und dabei probehalber konsequent mit den vorher aufgestellten Grundsätzen gearbeitet. Man kommt dann zu einer anderen Länderrangreihe. Außerdem sind viele dieser statistischen Entscheidungen ebenso sinnvoll, wenn man sie ganz anders trifft. Im Grunde ist dadurch die Länderrangreihe im Mittelfeld ein reines Zufallsprodukt. Außerdem sollte Deutschland schlecht abschneiden.

Wie bitte?

Einer der PISAner hat es fachintern bereits im Vorfeld sehr offen formuliert. Es sagte: „Ich mache seit 25 Jahren Mathematikdidaktik und die Lehrer begreifen es nicht. Jetzt zeige ich ihnen, was ich von ihnen will.“ Eine solche Agenda verfolgt man natürlich nur, wenn man das eigene Konzept für die Weltverbesserung an sich hält. Der Kollege hat dabei nur übersehen, dass man eine vielleicht gute Idee vergewaltigt, wenn man sie in standardisierte Formen gießt.
Strukturell und bildungspolitisch sind jedoch nicht irgendwelche frustrierten Didaktiker zentral.

Elisabeth Flitner hat vor einiger Zeit exemplarisch herausgearbeitet [PDF – 40.8 KB], welche Testkonzerne PISA durchführen und welches Markterschließungsinteresse diese insbesondere in Deutschland haben. Daher wurde PISA auch nirgendwo so aggressiv vermarktet wie hier. Es ging und geht vor allem darum, dieses bis dahin immer sehr geistig orientierte Land für eine gewaltige Testindustrie zu öffnen und geistige Beschränkung als Fortschritt zu vermarkten.

Das ist ja nun gelungen.

Ja, man muss einfach anerkennen, dass es eine großartige Marketing-Leistung war, 40 Regierungen dazu zu bringen, eine dreistellige Millionensumme pro Durchgang lockerzumachen für einen Test, der keinerlei handlungsrelevantes Wissen erzeugt. Es gibt keine politische Entscheidung, die aus PISA ableitbar wäre – auch wenn es natürlich viele Entscheidungen gibt, die man mit PISA legitimiert.

Und Deutschland hat man auch gleich doppelt abgezockt: Einerseits zahlen wir Millionen für PISA. Andererseits haben dutzende Professoren ihre wissenschaftlichen Dienstverpflichtungen für die internationalen Testkonzerne kanalisiert. Der deutsche Steuerzahler zahlt für diesen Arbeitsausfall wahrscheinlich mehr als für die Testgebühren. Wie viele relevanten Gedanken diese Leute stattdessen hätten produzieren können!

Und warum haben sich die Testkonzerne so auf Deutschland konzentriert?

Nun, zum einen kriegen die Konzerne hier eben die Arbeitsleistung geschenkt. Zweitens geht es um die Öffnung eines Milliardenmarktes. Früher hat der Deutsche richtige Bücher gelesen, heute liest er Bücher, die ihm beibringen, wie man bei Tests gut abschneidet, und er zahlt für diese Tests. Ein dritter Grund ist ein untersuchungspragmatischer: Wenn Sie einen relevanten quantitativen internationalen Vergleich machen wollen, dann brauchen Sie die USA, Japan und Deutschland, also die drei größten Volkswirtschaften. Künftig werden Sie noch China brauchen. Alle anderen Länder sind im Grunde vor allem Rankingstaffage. Dahinter steckt nicht nur eine kulturelle Dominanz, sondern auch die Idee, dass Bildung ein Produktivfaktor sei. Ich selbst würde eher sagen: „Wir leben in einem kulturell und wirtschaftlich recht erfolgreichen Land, wozu sollten wir in Mathetests besser abschneiden?“ So denkt man aber wohl vor allem dann, wenn man gute Test-Leistungen und gute Volkes-Bildung als Gegensatzpaar ansieht.

Das hört sich im Ganzen so an, als ob Sie den „PISA-Schock“ für eine Art organisierten kollektiven Irrtum hielten…

Sie als Journalisten haben hier jedenfalls kollektiv versagt. Sie haben nie die Frage gestellt: Wie viele richtige Kreuze mehr als ein deutscher Schüler hat denn so ein finnischer Schüler gemacht? Nie gefragt: Ist das denn überhaupt ein relevanter Unterschied? Kann man in 90 Minuten wirklich eine sinnvolle Aussage über ein Schulsystem generieren? Wollen wir gut sein in einem Test, in dem ausgerechnet die ostasiatischen Schulmühlen gut abschneiden? Kann man aus einem Neuntklässlertest Aussagen über Kindergartenbildung ableiten? Wer verdient an diesen Tests? Bei jeder Kreissparkassenbilanz hätte es kritischere Nachfragen gegeben. Und selbst bei den wenigen Medien, bei denen im Feuilleton die Standardisierung des Geistigen kritisch diskutiert wurde, haben die politischen und die Bildungsredaktionen die Skandalisierungsmasche der Testkonzerne mitgetragen.

Aber der Journalismus hat doch seine Aufgabe der Kritik am Schulwesen ernst genommen!

Genau das ist der Kategorienfehler. Denn wenn ich über Kritik am Schulsystem berichte, dann besteht journalistischer Ethos doch nicht lediglich darin, das Schulsystem zu befragen, sondern ebenso darin, auch die Kritik an diesem kritisch zu durchleuchten. Kritik am Schulsystem ist billig zu haben. Die Frage ist aber doch vielmehr, ob eine konkrete Kritik auch wirklich stimmig ist. Die deutschen Medien haben PISA jedoch lediglich als Auslassventil für ein allgemeines Unbehagen am Schulsystem genutzt und sich dabei kollektiv mit den Testkonzernen gemein gemacht. Das ist umso bedenklicher, als dieser Schulfrust ja völlig berechtigt ist.

Der PISA-Schock hatte aber doch heilsame Wirkungen auf das Schulsystem.

Wenn es darum ging, das Thema Bildung in den gesellschaftlichen Fokus zu stellen, dann hätte man nach der ersten PISA-Skandal-Runde einfach Schluss machen können mit dem Geteste. Schule hatte bereits vorher die Tendenz, die Bildungsgegenstände vom eigentlich Bildsamen zu entkleiden und das Übriggebliebene dann einfach nur noch als „Stoff“ zu vermitteln. Statt Schule nun aber stärker dem Bildsamen zuzuwenden, statt sie lebendiger zu machen, offener für Freude an der Sache und am Verstehen, für Neugier und für wirklich sinnstiftendes Lernen, hat man sich für den entgegengesetzten Weg entschieden. PISA forderte zu einer weiteren Verengung von Schule auf und dieser Aufforderung ist man allerorten gehorsam gefolgt. Die sogenannten Bildungsstandards verfolgen dabei den einzigen Zweck, dass nur noch als Bildung gilt, was standardisiert testbar ist. Schule soll also zukünftig ihren Gegenständen das Bildsame noch mehr entreißen als sie dies bereits bisher getan hat. Das aber ist das genaue Gegenteil des Notwendigen.

Konsequenterweise muss man daher fordern: Schluss mit PISA! Da PISA aber nur den größten Tanker im Meer der Menschenmesserideologie darstellt, wäre das nur der erste Schritt. Tatsächlich muss die Schule noch breiter aus dem Würgegriff der Testinstitute und Standardisierer befreit werden. Insofern geht es auch darum, mittelfristig etwa das Institut zur Qualitätsentwicklung im Bildungswesen und all seine Parallelstrukturen in den Ländern abzuschaffen. Die Bildungsstandards sowie die Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring müssen außer Kraft gesetzt werden. Das Beruhigende dabei ist, dass diese Maßnahmen sehr schnell umsetzbar sind, weil diese Strukturen sachlich völlig freischwebend sind.

Was meinen Sie, was wird in der neuen PISA-Runde rauskommen? Wird Deutschland sich verbessert haben?

Die Länderrangreihen befriedigen kein Erkenntnis-, sondern vor allem ein voyeuristisches Interesse. Insofern ist es auch völlig unwichtig, ob Deutschland sich in irgendeinem Ranking verbessert. Außerdem ist die Deutung von Veränderungen hier völlig beliebig. Ich offeriere Schulfunktionären jeweils eine Palette von widersprüchlichen, aber jeweils gut begründeten Deutungen. So ist es ziemlich wahrscheinlich, dass Deutschland irgendwie wieder „besser“ geworden sein wird, weil deutsche Lehrer und Schüler in den letzten Jahren viel stärker als ihre Kampfgegner in den wirtschaftlich konkurrierenden Ländern auf besseres PISA-Ankreuzen hin getrimmt worden sind. Auf jeden Fall werden die Menschenmesser behaupten, dass sich in einer Rangreihenverbesserung zeigen würde, dass Testen und Standardisieren sich positiv auswirkt. Es handelt sich eben um ein Glaubenssystem mit Selbstverstärkungsmechanismen.

Für mich selbst ist aktuell viel interessanter, welche Sau die PISA-Konzerne diesmal durchs Dorf treiben werden, um medial die Illusion aufrecht zu erhalten, dass PISA bedeutsam sei und für Bildungsverbesserungen, die irgendwem nützten, stünde. Deutschlands vorgebliches Versagen und die soziale Ungleichheit hatten wir inzwischen ja schon. Ich bin gespannt, was sich diesmal am Grunde des Datensatzes für ein Skandal offenbart.

Alles in allem…: Macht PISA also dumm?

Es ist sicherlich nicht inkorrekt, diese Frage mit Ja zu beantworten.

Das Interview erschien zuerst in stark gekürzter Form in der taz vom 27. November 2013.

Die Positionen des Interviewpartners geben nicht zwingend die Positionen der NachDenkSeiten-Redaktion wieder. Sehr wohl aber sollen sie eines: …zum Nachdenken anregen.

Wolfram Meyerhöfer wurde 1970 in Woldegk (Vorpommern) geboren. Er studierte Mathematik und Physik an der Universität Potsdam, wo er auch 2004 promovierte. Inzwischen ist er Professor für Mathematikdidaktik an der Universität Paderborn. Er ist Mitglied in den Beiräten des Deutschen Philologenverbandes, der Gesellschaft Bildung und Wissen und der Stiftung Bildung.