Wandel durch Evaluation : ehemals skeptische Ministerien sehen Bewertung der Ressortforschung heute positiver
Titelübersetzung:Change through evaluation : formerly skeptical ministries now regard evaluation of departmental research more positively
Autor/in:
Roßmann, Simon; Simon, Dagmar
Quelle: WZB-Mitteilungen, (2013) H. 140, S. 33-35
Inhalt: "Die Evaluation der Ressortforschungseinrichtungen durch den Wissenschaftsrat wurde von den Bundesministerien anfänglich als Einmischung in interne Angelegenheiten vehement abgelehnt. Im Laufe der Evaluation ergab sich jedoch aus dieser ein Mehrwert für die Ressorts: Sie produzierte für die Ministerien erstmals konkrete Aussagen über die wissenschaftliche Leistungsfähigkeit der Einrichtungen. Zudem wurde es möglich, Empfehlungen der Weiterentwicklung mit der Realisierung eigener Interessen zu kombinieren. Schließlich verstärkte die Evaluation die Zusammenarbeit mit den Einrichtungen, was die ministerielle Steuerungskompetenz dauerhaft erhöhte." (Autorenreferat)
Inhalt: "The evaluation of departmental research agencies by the German Research Council were at first vehemently objected to by the federal ministries and considered as interfering with internal affairs. However, in the course of the evaluations, they proved to be beneficial to these departments: Clear statements about the institutions' scientific performance were produced for the ministries for the first time. Furthermore, it became possible to combine recommendations for further development with the implementation of their own interests. Ultimately, the evaluation strengthened collaboration with the research institutes to steadily improve the ministries' management skills." (author's abstract)
Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Der Journal Impact Factor : Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation
Titelübersetzung:The journal impact factor : relevance, limitations and alternatives in research evaluation
Autor/in:
Marx, Werner; Bornmann, Lutz
Quelle: Beiträge zur Hochschulforschung, Jg. 34 (2012) H. 2, S. 50-66
Inhalt: "Der Journal Impact Factor ist neben dem h Index zum wohl bekanntesten bibliometrischen Indikator zur Bewertung von Forschungsleistung geworden. Ursprünglich zur Einstufung von Zeitschriften als Ganzes innerhalb enger Fachkategorien erfunden, wird er inzwischen vielfach zur Bewertung der Publikationen von Wissenschaftlern und Forschungsinstituten herangezogen - was jedoch nicht mit bibliometrischer Bewertung an sich gleichgesetzt werden darf. Dieser Beitrag diskutiert zunächst die Grenzen der Anwendung von Journal Impact Factors im Hinblick auf den ursprünglichen Zweck. Es wird aufgezeigt, warum diese selbst im Bereich der Bewertung von Zeitschriften problematisch sein können. Sodann wird dargelegt, warum Journal Impact Factors für die Bewertung der Publikationen von einzelnen Wissenschaftlern oder ganzer Forschungseinrichtungen ungeeignet sind. Schließlich werden alternative und aussagekräftigere Metriken für die quantitative (d. h. bibliometrische) Forschungsevaluation aufgezeigt. Abschließend wird grundsätzlich auf die Aussagekraft und die Grenzen der Bibliometrie in der Forschungsevaluation eingegangen." (Autorenreferat)
Inhalt: "The journal impact factor, besides the h Index, has become probably the best-known bibliometric indicator for the evaluation of research performance. Originally devised for the purposes of classifying journals as a whole within narrow subject categories, it is now frequently used to evaluate the publications of scientists and research institutes - though this is something that should not be equated with bibliometric analysis per se. This paper begins by discussing the limitations in the application of the journal impact factor with respect to its original purpose. The paper shows why it can be problematic even in the evaluation of journals. It goes on to demonstrate why journal impact factors are unsuitable for evaluating the publications of individual scientists or entire research institutes. Finally, the paper points out alternative and more relevant metrics for quantitative (i. e. bibliometric) research evaluation. In conclusion, the paper fundamentally addresses the relevance and the limitations of bibliometrics in research evaluation." (author's abstract)
Evaluationen in der Wissenschaft : zu viel, zu oft und wie weiter?
Titelübersetzung:Evaluations in science : to much, too often and how to continue?
Autor/in:
Simon, Dagmar
Quelle: Forum Wissenschaft, Jg. 29 (2012) Nr. 4, S. 4-7
Inhalt: "Steuerung und Koordination in Wissenschaftssystemen sind in Fluss geraten. Doch es sind verschiedene, auch gegenläufige, Formate und Entwicklungen zu beobachten. Niedergeschlagen hat sich das auch in der Evaluation, wo Produkt- und Prozessorientierung in Widerspruch" (Autorenreferat)
Was bestimmt "Exzellenz" in den Sozialwissenschaften? : eine Analyse am Beispiel des Preises der Fritz Thyssen Stiftung für sozialwissenschaftliche Aufsätze 1981-2006
Titelübersetzung:What determines "excellence" in social sciences? : an analysis based on the example of the Prize of the Fritz Thyssen Foundation for Social Science Essays between 1981 and 2006
Autor/in:
Alber, Jens; Nerlich, Torben
Quelle: Soziologie : Forum der Deutschen Gesellschaft für Soziologie, Jg. 39 (2010) H. 2, S. 152-178
Inhalt: "Der Preis der Fritz Thyssen Stiftung für sozialwissenschaftliche Aufsätze stellt ein seit 1981 praktiziertes Selbstevaluationsverfahren deutschsprachiger Sozialwissenschaften dar, das die Evaluationsforschung bislang nicht zur Kenntnis genommen hat. Gestützt auf eine Datensammlung der im Zeitraum 1981 bis 2006 nominierten und prämierten Artikel geht der Beitrag insbesondere zwei Fragen nach: 1. Welches sind die Merkmale prämierter Autoren, und inwieweit korreliert das Distinktionsmerkmal 'Thyssen-Preis' mit anderen Merkmalen von Autoren, die in der Evaluationsforschung Verwendung finden? 2. In welchem Maße konzentriert sich preisgekrönte Forschung auf einige wenige Standorte? Zu den zentralen Ergebnissen zählt, dass verschiedene Distinktionsmerkmale in den Sozialwissenschaften nur schwach korreliert sind und dass auch preisgekrönte deutsche Sozialforschung international nur schwach sichtbar ist." (Autorenreferat)
Inhalt: "The article analyzes the characteristics of German social science publications that received the Award of the Fritz Thyssen Foundation in the period 1981-2006. Annually awarded by a jury to the best social science articles published in leading German language journals, the prize constitutes a form of professional self-evaluation which previous evaluation research has not taken into account. Based on a data collection of all nominated and awarded articles, the contribution focuses on two research questions: 1. What are the characteristics of the winning authors and to what extent is the receipt of the award correlated with other criteria of distinction that are used for evaluation purposes? 2. To what extent is research leading to the prize concentrated in a few outstanding research institutes? Key findings are that different criteria of achievement in social science evaluations are only weakly correlated and that German speaking social science publications have a low level of international visibility even if awarded with a prestigious prize." (author's abstract)
Ungleiche Chancen im Wissenschaftssystem: Artefakt oder Realität?
Titelübersetzung:Unequal chances in the science system: artefact or reality?
Autor/in:
Jansen, Dorothea; Heidler, Richard; Görtz, Regina von
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 61 (2009) H. 3, S. 463-467
Inhalt: "Der Artikel 'Herausbildung einer akademischen Elite? Zum Einfluss von Größe und Reputation von Universitäten auf Forschungsförderung' von Katrin Auspurg, Thomas Hinz und Jürgen Güdler (Heft 4/2008 dieser Zeitschrift) setzt sich kritisch mit der von Richard Münch vertretenen These der Monopolisierung von Forschungschancen im deutschen Wissenschaftssystem auseinander. In dem Beitrag wird allerdings für die Analyse ein zur Widerlegung von Münchs These wenig geeigneter Gegenstand gewählt, das DFG-Normalverfahren. Problematische Tendenzen für das Wissenschaftssystem, so unsere und Münchs Vermutung, gehen jedoch eher von koordinierten Programmen und der Exzellenzinitiative aus. Zudem gelingt es in dem Beitrag nicht, die Analyse in einen breiteren Kontext der Funktionen und Auswirkungen der wachsenden Rolle der Drittmittelförderung im Wissenschaftssystem zu stellen." (Autorenreferat)
Inhalt: "The article 'Emergence of an academic elite? The impact of universities' size and reputation on research funding' by Katrin Auspurg, Thomas Hinz and Jürgen Güdler (volume 4/2008 of this Journal) discusses critically Richard Münch's thesis of monopolistic tendencies in the German science system. Unfortunately the authors focus in their analysis on an improper object, the 'Individual grants programme' (Normalverfahren) of the German Research Foundation (DFG). However, problematic developments for the German science system will rather result from the 'Coordinated grants programmes' (koordinierte Programme), in particular the excellence initiative. Furthermore the authors fail to connect their analysis to the broader context of the functions and implications of the increasing role of third party funding in the German science system." (author's abstract)
Die Konstruktion soziologischer Exzellenz durch Forschungsrating
Titelübersetzung:The construction of sociological excellence through research rating
Autor/in:
Münch, Richard
Quelle: Soziale Welt : Zeitschrift für sozialwissenschaftliche Forschung und Praxis, Jg. 60 (2009) H. 1, S. 63-89
Inhalt: "Das von einer Bewertungsgruppe im Auftrag des Wissenschaftsrates als Pilotstudie durchgeführte und 2008 veröffentlichte Forschungsrating Soziologie soll sich gegenüber den herkömmlichen Rankings durch bessere Qualität und Multidimensionalität auszeichnen. Wie in dem Aufsatz dargelegt wird, hatte jedoch auch dieses Evaluationsverfahren erhebliche Probleme, der Vielfalt der Forschungsrealität gerecht zu werden und treffsichere sowie zuverlässige Indikatoren der Forschungsaktivitäten zu bilden. Auch das Forschungsrating hat selektiv soziologische Exzellenz konstruiert, die sich bei anderer Messung anders darstellen würde. Ein bislang offenes Feld gleichberechtigter Diskursteilnehmer wird einer Stratifikation unterworfen, die zur weiteren Selbstreproduktion tendiert, weil die erworbenen Wettbewerbsvorteile in weitere Vorteile umgesetzt werden können. Die Soziologie entfernt sich so weiter als bisher von der idealen Sprechsituation. Die Evolution des soziologischen Wissens wird durch zunehmende Vermachtung geschlossen." (Autorenreferat)
Inhalt: "The research rating of sociology, carried out and published in 2008 by an evaluation group as a pilot study on behalf of the German Science Council, is expected to distinguish itself by higher quality and multi-dimensionality compared to ordinary rankings. This article will show that this procedure of evaluation itself faces considerable problems in doing justice to the varied reality of research and building valid and reliable indicators of research activities. The research rating itself selectively constructs sociological excellence, which would look quite different if measured in other ways. A thus far open field of equally licensed participants in discourse is subjected to stratification, which tends towards self-reproduction, because acquired competitive advantages can be turned into further advantages. Hence, sociology moves farther away than before from the ideal speech situation. The evolution of sociological knowledge is closed by increasing subjection to power structures." (author's abstract)
Qualitätsentwicklung von Forschung durch Evaluation : Institutionen und Verfahren
Titelübersetzung:Development of the quality of research through evaluation : institutes and procedures
Autor/in:
Schophaus, Malte
Quelle: Sozialwissenschaften und Berufspraxis, Jg. 31 (2008) H. 1, S. 79-93
Inhalt: Der Beitrag liefert einen Überblick über Funktion und Verfahren von Forschungsevaluationen sowie ihrer Institutionen in Deutschland. Die Darstellung der Forschungsevaluation beschränkt sich weitgehend auf Verfahren und Institutionen des Informed Peer Review, ergänzt durch Indikatoren zur Erstellung von Forschungsindikatoren. So werden im ersten Schritt zunächst die gängigen Indikatoren der Forschungsqualität kurz dargestellt. Im zweiten Schritt werden anschließend die wichtigsten Institutionen (Wissenschaftsrat, Wissenschaftliche Kommission Niedersachsen, Zentrum für Evaluation und Methoden -ZEM - an der Universität Bonn), die Forschungsevaluationen in Deutschland durchführen, benannt und kategorisiert. Sodann wird das grundlegende Verfahren der auf Peer Review basierenden Forschungsevaluationen beschrieben und unterschiedliche Ausprägungen dargestellt. Im vierten Schritt werden schließlich Aspekte der Akzeptanz von Forschungsevaluationen identifiziert. Abschließend wird ein Ausblick auf die Entwicklung von Forschungsevaluation gegeben, der ein informations- und kontrollorientiertes Verständnis von Forschungsevaluation einem entwicklungsorientierten Verständnis gegenüberstellt. (ICG2)
Quelle: Merkur : deutsche Zeitschrift für europäisches Denken, Jg. 62 (2008) H. 4, S. 346-349
Inhalt: Vom Konzern Thomson Scientific wird unter der Handelsmarke "Web of Science" ein Programm angeboten, das verspricht, dass alle Interessierten mit wenigen Mausklicks nicht nur feststellen können, wer was wo veröffentlicht hat, sondern auch, wer wen wie oft zitiert, so dass man aus der Häufigkeitsverteilung der Zitationen auf das Gewicht von Themen und Autoren schließen kann. Das Programm nutzen Wissenschaftsverwaltungen, um die Relevanz von Forschern und Forschungen sowie die relevanzgemäße Finanzierung derselben an der Zitationsfrequenz im "Web of Science" festmachen. Der Essay kritisiert dieses "Wissenschaftsranking" scharf, das Politikern, die keine Ruhe zum Lesen, keine Muße zum Reflektieren und keine Zeit zum Argumentieren haben, das "große Glück" verschafft, die von ihnen erwartete bedarfs- und qualitätsgerechte Mittelverteilung über einige einfache Zahlen ins Werk setzen zu können. Kritisiert wird die Übertragung der Idee des Rekords vom Sport und des Marktes (Wettbewerb) auf die Wissenschaft. Die Kehrseite der Sache ist bekannt. Sie heißt im Sport Doping und in der Wissenschaft Drittmittelfinanzierung, also das gezielte Einbringen fremder Interessen, die durch künstliche Leistungserhöhung eine Verbesserung der ökonomischen Verwertbarkeit der erzielten Resultate erwarten. Und zwar im allgemeinen dadurch, "dass man der ahnungslosen Öffentlichkeit weismacht, dass wahlweise die Größten, Schnellsten, Schönsten oder Klügsten auch die Besten sind". (ICA2)
Governanceregimes im Wandel : eine Analyse des außeruniversitären, staatlich finanzierten Forschungssektors in Deutschland
Titelübersetzung:Changing governance regimes : analysis of the state-funded, non-university research system in Germany
Autor/in:
Heinze, Thomas; Arnold, Natalie
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 60 (2008) H. 4, S. 686-722
Inhalt: "Seit Anfang der 1990er Jahre haben sich die Organisations- und Entscheidungsstrukturen im außeruniversitären Forschungssektor verändert. Dieser Wandel der Governanceregimes der Fraunhofer-Gesellschaft, der Max-Planck-Gesellschaft, der Helmholtz-Gemeinschaft und der Leibniz-Gemeinschaft wird mit einer breiten Palette quantitativer und qualitativer Daten analysiert. Die Analyse zeigt, dass die Outputeffizienz der vier Einrichtungen bei Publikationen und Patentanmeldungen deutlich gestiegen ist. Im Gegensatz zum Hochschulsektor lässt sich aber bislang kein Rückzug der staatlichen Governance feststellen. Auch haben hierarchisches Forschungsmanagement, Ressourcenwettbewerb, Netzwerkkoordination und Reputationswettbewerb an Bedeutung gewonnen. Die Vervielfachung der Koordinationsmechanismen deutet auf einen Trend zur Übersteuerung der außeruniversitären Forschung hin." (Autorenreferat)
Inhalt: "Since the early 1990s, substantial changes have been observed in the organizational and decision structures of the non-university research sector. Drawing on a broad spectrum of quantitative and qualitative evidence, we investigate these changes in the governance regimes of the Max-Planck Society, the Fraunhofer Society, the Helmholtz Association and the Leibniz Association. The analysis shows that the output efficiency of these four research organizations has increased markedly. Also, new governance mechanisms have become stronger, such as hierarchical management, resource competition, network coordination and international reputational competition. In contrast to developments in the university sector, however, we do not find evidence for a decrease in state influence. Rather, the governance regimes of research organizations have become more complex and tend to be over-steered." (author's abstract)