Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Ungleiche Chancen im Wissenschaftssystem: Artefakt oder Realität?
Titelübersetzung:Unequal chances in the science system: artefact or reality?
Autor/in:
Jansen, Dorothea; Heidler, Richard; Görtz, Regina von
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 61 (2009) H. 3, S. 463-467
Inhalt: "Der Artikel 'Herausbildung einer akademischen Elite? Zum Einfluss von Größe und Reputation von Universitäten auf Forschungsförderung' von Katrin Auspurg, Thomas Hinz und Jürgen Güdler (Heft 4/2008 dieser Zeitschrift) setzt sich kritisch mit der von Richard Münch vertretenen These der Monopolisierung von Forschungschancen im deutschen Wissenschaftssystem auseinander. In dem Beitrag wird allerdings für die Analyse ein zur Widerlegung von Münchs These wenig geeigneter Gegenstand gewählt, das DFG-Normalverfahren. Problematische Tendenzen für das Wissenschaftssystem, so unsere und Münchs Vermutung, gehen jedoch eher von koordinierten Programmen und der Exzellenzinitiative aus. Zudem gelingt es in dem Beitrag nicht, die Analyse in einen breiteren Kontext der Funktionen und Auswirkungen der wachsenden Rolle der Drittmittelförderung im Wissenschaftssystem zu stellen." (Autorenreferat)
Inhalt: "The article 'Emergence of an academic elite? The impact of universities' size and reputation on research funding' by Katrin Auspurg, Thomas Hinz and Jürgen Güdler (volume 4/2008 of this Journal) discusses critically Richard Münch's thesis of monopolistic tendencies in the German science system. Unfortunately the authors focus in their analysis on an improper object, the 'Individual grants programme' (Normalverfahren) of the German Research Foundation (DFG). However, problematic developments for the German science system will rather result from the 'Coordinated grants programmes' (koordinierte Programme), in particular the excellence initiative. Furthermore the authors fail to connect their analysis to the broader context of the functions and implications of the increasing role of third party funding in the German science system." (author's abstract)
Die Konstruktion soziologischer Exzellenz durch Forschungsrating
Titelübersetzung:The construction of sociological excellence through research rating
Autor/in:
Münch, Richard
Quelle: Soziale Welt : Zeitschrift für sozialwissenschaftliche Forschung und Praxis, Jg. 60 (2009) H. 1, S. 63-89
Inhalt: "Das von einer Bewertungsgruppe im Auftrag des Wissenschaftsrates als Pilotstudie durchgeführte und 2008 veröffentlichte Forschungsrating Soziologie soll sich gegenüber den herkömmlichen Rankings durch bessere Qualität und Multidimensionalität auszeichnen. Wie in dem Aufsatz dargelegt wird, hatte jedoch auch dieses Evaluationsverfahren erhebliche Probleme, der Vielfalt der Forschungsrealität gerecht zu werden und treffsichere sowie zuverlässige Indikatoren der Forschungsaktivitäten zu bilden. Auch das Forschungsrating hat selektiv soziologische Exzellenz konstruiert, die sich bei anderer Messung anders darstellen würde. Ein bislang offenes Feld gleichberechtigter Diskursteilnehmer wird einer Stratifikation unterworfen, die zur weiteren Selbstreproduktion tendiert, weil die erworbenen Wettbewerbsvorteile in weitere Vorteile umgesetzt werden können. Die Soziologie entfernt sich so weiter als bisher von der idealen Sprechsituation. Die Evolution des soziologischen Wissens wird durch zunehmende Vermachtung geschlossen." (Autorenreferat)
Inhalt: "The research rating of sociology, carried out and published in 2008 by an evaluation group as a pilot study on behalf of the German Science Council, is expected to distinguish itself by higher quality and multi-dimensionality compared to ordinary rankings. This article will show that this procedure of evaluation itself faces considerable problems in doing justice to the varied reality of research and building valid and reliable indicators of research activities. The research rating itself selectively constructs sociological excellence, which would look quite different if measured in other ways. A thus far open field of equally licensed participants in discourse is subjected to stratification, which tends towards self-reproduction, because acquired competitive advantages can be turned into further advantages. Hence, sociology moves farther away than before from the ideal speech situation. The evolution of sociological knowledge is closed by increasing subjection to power structures." (author's abstract)
Qualitätsentwicklung von Forschung durch Evaluation : Institutionen und Verfahren
Titelübersetzung:Development of the quality of research through evaluation : institutes and procedures
Autor/in:
Schophaus, Malte
Quelle: Sozialwissenschaften und Berufspraxis, Jg. 31 (2008) H. 1, S. 79-93
Inhalt: Der Beitrag liefert einen Überblick über Funktion und Verfahren von Forschungsevaluationen sowie ihrer Institutionen in Deutschland. Die Darstellung der Forschungsevaluation beschränkt sich weitgehend auf Verfahren und Institutionen des Informed Peer Review, ergänzt durch Indikatoren zur Erstellung von Forschungsindikatoren. So werden im ersten Schritt zunächst die gängigen Indikatoren der Forschungsqualität kurz dargestellt. Im zweiten Schritt werden anschließend die wichtigsten Institutionen (Wissenschaftsrat, Wissenschaftliche Kommission Niedersachsen, Zentrum für Evaluation und Methoden -ZEM - an der Universität Bonn), die Forschungsevaluationen in Deutschland durchführen, benannt und kategorisiert. Sodann wird das grundlegende Verfahren der auf Peer Review basierenden Forschungsevaluationen beschrieben und unterschiedliche Ausprägungen dargestellt. Im vierten Schritt werden schließlich Aspekte der Akzeptanz von Forschungsevaluationen identifiziert. Abschließend wird ein Ausblick auf die Entwicklung von Forschungsevaluation gegeben, der ein informations- und kontrollorientiertes Verständnis von Forschungsevaluation einem entwicklungsorientierten Verständnis gegenüberstellt. (ICG2)
Drittmittel als Performanzindikator der wissenschaftlichen Forschung : zum Einfluss von Rahmenbedingungen auf Forschungsleistung
Titelübersetzung:Third party research funding and performance in research : on the effects of institutional conditions on research performance of teams
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 59 (2007) H. 1, S. 125-149
Inhalt: "Ressourcen innerhalb und zwischen Universitäten und in der außeruniversitären Forschung werden angesichts der Finanzknappheit im Wissenschaftssystem zunehmend in Abhängigkeit von Forschungsleistungen verteilt. Hiermit bekommen Evaluationsverfahren und die Messung von Forschungsleistungen einen neuen Stellenwert. Drittmitteleinkommen als relativ einfach zu erhebender Performanzindikator spielt in allen neuen leistungsbasierten Verteilungsverfahren eine große Rolle. Ziel dieses Beitrags ist es, die Aussagekraft von Drittmitteln für die Bewertung von Forschungsleistungen zu untersuchen. Auf der Grundlage von quantitativen und qualitativen Daten zu Forschungsgruppen aus drei sehr unterschiedlichen Forschungsfeldern wird der Zusammenhang von Strukturindikatoren, Drittmitteleinkommen als weiterem Inputfaktor und dem Output der wissenschaftlichen Produktion betrachtet. Hierbei zeigt sich, dass der Einsatz von Drittmitteln als Performanzindikator nur unterhalb eines von disziplinspezifischen Produktionsbedingungen bestimmten Schwellenwertes sinnvoll ist. Ferner ergibt die weitergehende Analyse, dass Forschungsperformanz mehrdimensional ist, Publikationen also nicht der einzig sinnvolle Indikator für Performanz sein können. Schließlich zeigt sich, dass die Bedingungen wissenschaftlicher Produktion zwischen den Fachgebieten so unterschiedlich sind, dass Performanzvergleiche nur innerhalb homogener Forschungsfelder sinnvoll einsetzbar sind. Abschließend werden die forschungspolitischen Implikationen für Forschungsfinanzierung und Forschungsevaluation diskutiert sowie weiterer Forschungsbedarf aufgezeigt." (Autorenreferat)
Inhalt: "Resources within and between higher education and research institutions are increasingly allocated according to scientific performance. Evaluation exercises and the measurement of research performance take on a new role in this context. Third party research income is a performance indicator which is rather easy to measure and is used in most of the new performance-based evaluation procedures. This paper sets out to scrutinize the meaning and validity of third party research income. The authors studied research teams from three different research fields with a mixed quantitative/ qualitative approach. The focus is on the causal relations between institutional/ input indicators, third party research income as another input indicator, and a variety of output indicators of scientific production. An important result is that third party money has a positive effect on performance only below a certain and discipline-specific threshold. Further analysis shows that output performance is to a great extent field-specific. The context conditions for scientific production differ greatly, so that comparative performance assessments are only valid within homogeneous research fields. Another important result is that output performance is multidimensional and cannot be measured by bibliometric indicators only. These findings have implications for the rationality of the evaluation assessment exercises as well as for the funding decisions of science foundations, ministries of science and - increasingly, the heads of universities and departments. These topics are discussed in the last chapter as well as the implications for further research." (author's abstract)