Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Aus Mangel an Beweisen : 'exzellente' Kriterien in der Wissenschaft? ; das Peer Review als Konsensmaschine
Titelübersetzung:Due to lack of evidence : 'excellent' criteria in science?; the peer review as a consensus machine
Autor/in:
Simon, Dagmar; Knie, Andreas
Quelle: Gegenworte : Hefte für den Disput über Wissen, (2007) H. 17, S. 27-29
Inhalt: Die Verfasser stellen fest, dass das disziplinübergreifende, objektiv Messbare durch den Konsens der Experten ersetzt wird. Das Urteil der Fachkollegen ist die Basis für die Bewertung wissenschaftlicher Leistung. Sie kommen zum Schluss, dass das Problem der Exzellenz-Initiative darin liegt, dass man Regeln der Begutachtung durch die Fachkollegen als einzigen Maßstab der Qualitätssicherung für bare Münze gehalten und den gesamten Subtext zu wenig beachtet hat. Wenn man primär auf Verfahren anstatt auf Inhalte zur Bewertung der Wissenschaft setzt, dann ist eine Forschung nur dann auch exzellent, wenn die Forschungspraxis kontextbezogen reflektiert wird und die Bewertung in einem angemessenen Gesamtrahmen erfolgt. Exzellenz 'an sich' kann es in diesem Sinne nicht geben. (ICG2)
Quelle: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung. Workshop "Qualitätsparameter und Leistungsindikatoren als Instrumente der Hochschulentwicklung"; Bonn: Hochschulrektorenkonferenz (Beiträge zur Hochschulpolitik), 2006, S. 168-184
Inhalt: In vielen Ländern der Welt sind innerhalb der letzten ein oder zwei Jahrzehnte eindrucksvolle Aktivitäten entfaltet worden, Evaluation in Hochschule und Wissenschaft einzurichten, auszubauen und zu sophistizieren. Dabei ist hier unter Evaluation, wie später ausgeführt, die Gesamtheit der zumeist regelmäßigen und flächendeckenden, institutionalisierten und systematischen Aktivitäten zur Analyse und der damit verbundenen Bewertung des mehr oder weniger "Guten" in Hochschule und Wissenschaft gemeint, die mit dem Zweck unternommen wird, das "Gute" zu fördern und das "Schlechte" einzudämmen. Der vorliegende Beitrag geht der Frage nach, was Qualität in Hochschulen und Wissenschaft bedeutet und wie diese evaluiert werden kann. Hochschule und Wissenschaft - ein Sektor der Gesellschaft, der für sich die höchste Qualität systematischen Erkennens und rationalen Verstehens reklamiert - zeichnen sich durch ein hohes Maß von Unklarheit aus, wenn es darum geht, das zu bezeichnen, was die Kriterien wünschenswerter Ergebnisse der eigenen Aktivitäten sind. "Qualität" ist nicht nur ein vager Begriff, sondern er wird als Kampfbegriff instrumentalisiert, wenn Probleme von Hochschule und Wissenschaft und Ansätze zur Verbesserung zur Diskussion stehen. Sein Gebrauch ist von quasi-religiösen Werthaltungen geprägt. Er dient der Verdunklung in den Diskussionen darüber, welcher Mix von wissenschaftlicher Güte, gesellschaftlicher Relevanz und Ziel-Mittel-Effizienz angestrebt werden soll; er wird vielfach usurpatorisch beschworen, wenn es darum geht, welches Maß von horizontaler und vertikaler Vielfalt wünschenswert, akzeptabel oder nicht tolerierbar sei. Es ist wichtig eine Evaluationskultur an Hochschulen zu etablieren an der alle beteiligt sind. (ICD2)
Indikatoren und Peer Review in der Evaluationspraxis
Titelübersetzung:Indicators and peer review in evaluation practice
Autor/in:
Schreier, Gerhard
Quelle: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung. Workshop "Qualitätsparameter und Leistungsindikatoren als Instrumente der Hochschulentwicklung"; Bonn: Hochschulrektorenkonferenz (Beiträge zur Hochschulpolitik), 2006, S. 268-272
Inhalt: Die Evaluationsagentur Baden-Württemberg (evalag) ist als Stiftung des öffentlichen Rechts im Jahr 2000 errichtet worden und hat ihre operative Tätigkeit im Sommer 2001 aufgenommen. Lenkungsorgan der Agentur ist der Stiftungsrat, in dem die Vertreter der Hochschulen sechs von acht Stimmen haben. Die evalag sieht ihre grundlegenden Aufgaben darin, die Hochschulen in ihrer Qualitätsentwicklung und in ihrer Rechenschaftslegung zu unterstützen, die Entscheidungsträger, vor allem die Leitungen der Hochschulen, in die Lage zu versetzen, strategische Entscheidungen auf informierter Grundlage zu treffen, und schließlich die Öffentlichkeit über die wesentlichen Ergebnisse der Evaluationsverfahren zu informieren. Der vorliegende Beitrag diskutiert die Fragestellung des Workshops "Leistungsmessung in der Lehre", der im Rahmen einer Veranstaltung des Projekts Qualitätssicherung der HRK am 24./25. Januar 2005 in München stattfand, vor dem Hintergrund der praktischen Tätigkeit einer Evaluationsagentur. Dabei wird deutlich, dass Peer Review und Leistungsindikatoren, zwei Evaluationsverfahren sind, die sich ergänzen bzw. zusammengehören. Abschließend geht der Autor auf neue Entwicklungen ein, die zur Zeit erprobt werden, wie etwa ein allgemeiner Referenzrahmen, der allgemeine Qualitätsstandards (vor allem in Begriffen von Prozessqualität) vorgibt, an denen alle Hochschulen einheitlich gemessen werden. (ICD2)
Titelübersetzung:"Mapping of Excellence" in den Wirtschaftswissenschaften
Autor/in:
Peter, Viola
Quelle: Von der Qualitätssicherung der Lehre zur Qualitätsentwicklung als Prinzip der Hochschulsteuerung. Workshop "Qualitätsparameter und Leistungsindikatoren als Instrumente der Hochschulentwicklung"; Bonn: Hochschulrektorenkonferenz (Beiträge zur Hochschulpolitik), 2006, S. 245-249
Inhalt: Die Autorin stellt eine Untersuchung der Europäischen Kommission vor, die die Entwicklung von Methoden der Qualitätsevaluierung wirtschaftswissenschaftlicher Forschungseinrichtungen in den 15 EU-Staaten zum Ziel hatte. Die Diskussion und Umsetzung eines "Mapping of Excellence" durch die Europäische Kommission hängt mit dem Ziel der Schaffung eines Europäischen Forschungsraums zusammen. Das erklärte Ziel des Mapping ist die Schaffung von Transparenz - welche europäische Einrichtung ist im internationalen Vergleich besonders gut in einer bestimmten Disziplin? Eine Ratsentscheidung von 2000, "Exzellenz in allen EU-15 Mitgliedstaaten und in allen Disziplinen bis Ende 2001 zu identifizieren", erwies sich als nicht umsetzbar. Die Kommission führte drei Pilotstudien durch, darunter eine zu den Wirtschaftswissenschaften. Auf den Vergleich von Inputindikatoren musste verzichtet werden, weil Angaben über die finanzielle Ausstattung, Anzahl der Wissenschaftler und Studierenden nicht einheitlich für alle Mitgliedstaaten erhoben werden. Man beschränkte sich auf Outputindikatoren, darunter eine Reihe bibliometrischer Messzahlen, die auf Grundlage des Social Science Citation Index (SSCI) und der Datenbank EconLit gebildet wurden. "Anzahl der Publikationen", "Zitatrate" oder der "Anteil der nicht-zitierten Publikationen" wurden zur Bewertung der einzelnen Einrichtungen und Sub-Disziplinen herangezogen. Als qualitative Komponente wurde ein so genanntes "Reputation Assessment" durchgeführt, eine Befragung, die eine Abschätzung des Renommees von Ökonomen bringen sollte. Insgesamt kann festgehalten werden, dass ein indikatorgestütztes Verfahren nur wenig vergleichbare Daten zur Verfügung hat, die für aussagekräftige Indikatoren Verwendung finden können. Insbesondere bei den Inputindikatoren sind Harmonisierungsanstrengungen nötig. (ICD)
Quelle: Gegenworte : Hefte für den Disput über Wissen, (2000) H. 5, S. 23-25
Inhalt: Der Beitrag enthält kritische Anmerkungen zum Selbstverständnis der Wissenschaft und zur Beurteilung der eigenen Leistungen, in welcher in Bezug auf die Qualität oft von "Exzellenz" die Rede ist. Es wird zum einen die Frage diskutiert, mit welchem Recht sich eine so verstandene Wissenschaft aus dem allgemeinen Arbeitsprozess heraushebt und Forschung als etwas definiert, das jenseits der üblichen Beurteilungsmaßstäbe stattfindet. Zum anderen werden Bedenken gegen die verbindliche Messung von Qualität und eine "Arithmetisierung" aller wissenschaftlichen Verhältnisse erhoben: "Ein neuer Furor ist ausgebrochen; wir sind in der Wissenschaft auf dem besten Wege, ein Volk von Evaluierern zu werden." Eine weitere Frage betrifft das Mittelmaß und die Durchschnittlichkeit in der Wissenschaft: "Es ist das breite Mittelmaß, das auch in der Wissenschaft das Gewohnte ist, und es ist die breite Qualität, die aus dem Mittelmaß wächst, die uns in der Wissenschaft am Ende auch die Exzellenz beschert - mit oder ohne angestrengte Evaluierung". (ICI)