Wandel durch Evaluation : ehemals skeptische Ministerien sehen Bewertung der Ressortforschung heute positiver
Titelübersetzung:Change through evaluation : formerly skeptical ministries now regard evaluation of departmental research more positively
Autor/in:
Roßmann, Simon; Simon, Dagmar
Quelle: WZB-Mitteilungen, (2013) H. 140, S. 33-35
Inhalt: "Die Evaluation der Ressortforschungseinrichtungen durch den Wissenschaftsrat wurde von den Bundesministerien anfänglich als Einmischung in interne Angelegenheiten vehement abgelehnt. Im Laufe der Evaluation ergab sich jedoch aus dieser ein Mehrwert für die Ressorts: Sie produzierte für die Ministerien erstmals konkrete Aussagen über die wissenschaftliche Leistungsfähigkeit der Einrichtungen. Zudem wurde es möglich, Empfehlungen der Weiterentwicklung mit der Realisierung eigener Interessen zu kombinieren. Schließlich verstärkte die Evaluation die Zusammenarbeit mit den Einrichtungen, was die ministerielle Steuerungskompetenz dauerhaft erhöhte." (Autorenreferat)
Inhalt: "The evaluation of departmental research agencies by the German Research Council were at first vehemently objected to by the federal ministries and considered as interfering with internal affairs. However, in the course of the evaluations, they proved to be beneficial to these departments: Clear statements about the institutions' scientific performance were produced for the ministries for the first time. Furthermore, it became possible to combine recommendations for further development with the implementation of their own interests. Ultimately, the evaluation strengthened collaboration with the research institutes to steadily improve the ministries' management skills." (author's abstract)
Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Der Journal Impact Factor : Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation
Titelübersetzung:The journal impact factor : relevance, limitations and alternatives in research evaluation
Autor/in:
Marx, Werner; Bornmann, Lutz
Quelle: Beiträge zur Hochschulforschung, Jg. 34 (2012) H. 2, S. 50-66
Inhalt: "Der Journal Impact Factor ist neben dem h Index zum wohl bekanntesten bibliometrischen Indikator zur Bewertung von Forschungsleistung geworden. Ursprünglich zur Einstufung von Zeitschriften als Ganzes innerhalb enger Fachkategorien erfunden, wird er inzwischen vielfach zur Bewertung der Publikationen von Wissenschaftlern und Forschungsinstituten herangezogen - was jedoch nicht mit bibliometrischer Bewertung an sich gleichgesetzt werden darf. Dieser Beitrag diskutiert zunächst die Grenzen der Anwendung von Journal Impact Factors im Hinblick auf den ursprünglichen Zweck. Es wird aufgezeigt, warum diese selbst im Bereich der Bewertung von Zeitschriften problematisch sein können. Sodann wird dargelegt, warum Journal Impact Factors für die Bewertung der Publikationen von einzelnen Wissenschaftlern oder ganzer Forschungseinrichtungen ungeeignet sind. Schließlich werden alternative und aussagekräftigere Metriken für die quantitative (d. h. bibliometrische) Forschungsevaluation aufgezeigt. Abschließend wird grundsätzlich auf die Aussagekraft und die Grenzen der Bibliometrie in der Forschungsevaluation eingegangen." (Autorenreferat)
Inhalt: "The journal impact factor, besides the h Index, has become probably the best-known bibliometric indicator for the evaluation of research performance. Originally devised for the purposes of classifying journals as a whole within narrow subject categories, it is now frequently used to evaluate the publications of scientists and research institutes - though this is something that should not be equated with bibliometric analysis per se. This paper begins by discussing the limitations in the application of the journal impact factor with respect to its original purpose. The paper shows why it can be problematic even in the evaluation of journals. It goes on to demonstrate why journal impact factors are unsuitable for evaluating the publications of individual scientists or entire research institutes. Finally, the paper points out alternative and more relevant metrics for quantitative (i. e. bibliometric) research evaluation. In conclusion, the paper fundamentally addresses the relevance and the limitations of bibliometrics in research evaluation." (author's abstract)
Evaluationen in der Wissenschaft : zu viel, zu oft und wie weiter?
Titelübersetzung:Evaluations in science : to much, too often and how to continue?
Autor/in:
Simon, Dagmar
Quelle: Forum Wissenschaft, Jg. 29 (2012) Nr. 4, S. 4-7
Inhalt: "Steuerung und Koordination in Wissenschaftssystemen sind in Fluss geraten. Doch es sind verschiedene, auch gegenläufige, Formate und Entwicklungen zu beobachten. Niedergeschlagen hat sich das auch in der Evaluation, wo Produkt- und Prozessorientierung in Widerspruch" (Autorenreferat)
Was bestimmt "Exzellenz" in den Sozialwissenschaften? : eine Analyse am Beispiel des Preises der Fritz Thyssen Stiftung für sozialwissenschaftliche Aufsätze 1981-2006
Titelübersetzung:What determines "excellence" in social sciences? : an analysis based on the example of the Prize of the Fritz Thyssen Foundation for Social Science Essays between 1981 and 2006
Autor/in:
Alber, Jens; Nerlich, Torben
Quelle: Soziologie : Forum der Deutschen Gesellschaft für Soziologie, Jg. 39 (2010) H. 2, S. 152-178
Inhalt: "Der Preis der Fritz Thyssen Stiftung für sozialwissenschaftliche Aufsätze stellt ein seit 1981 praktiziertes Selbstevaluationsverfahren deutschsprachiger Sozialwissenschaften dar, das die Evaluationsforschung bislang nicht zur Kenntnis genommen hat. Gestützt auf eine Datensammlung der im Zeitraum 1981 bis 2006 nominierten und prämierten Artikel geht der Beitrag insbesondere zwei Fragen nach: 1. Welches sind die Merkmale prämierter Autoren, und inwieweit korreliert das Distinktionsmerkmal 'Thyssen-Preis' mit anderen Merkmalen von Autoren, die in der Evaluationsforschung Verwendung finden? 2. In welchem Maße konzentriert sich preisgekrönte Forschung auf einige wenige Standorte? Zu den zentralen Ergebnissen zählt, dass verschiedene Distinktionsmerkmale in den Sozialwissenschaften nur schwach korreliert sind und dass auch preisgekrönte deutsche Sozialforschung international nur schwach sichtbar ist." (Autorenreferat)
Inhalt: "The article analyzes the characteristics of German social science publications that received the Award of the Fritz Thyssen Foundation in the period 1981-2006. Annually awarded by a jury to the best social science articles published in leading German language journals, the prize constitutes a form of professional self-evaluation which previous evaluation research has not taken into account. Based on a data collection of all nominated and awarded articles, the contribution focuses on two research questions: 1. What are the characteristics of the winning authors and to what extent is the receipt of the award correlated with other criteria of distinction that are used for evaluation purposes? 2. To what extent is research leading to the prize concentrated in a few outstanding research institutes? Key findings are that different criteria of achievement in social science evaluations are only weakly correlated and that German speaking social science publications have a low level of international visibility even if awarded with a prestigious prize." (author's abstract)