Wandel durch Evaluation : ehemals skeptische Ministerien sehen Bewertung der Ressortforschung heute positiver
Titelübersetzung:Change through evaluation : formerly skeptical ministries now regard evaluation of departmental research more positively
Autor/in:
Roßmann, Simon; Simon, Dagmar
Quelle: WZB-Mitteilungen, (2013) H. 140, S. 33-35
Inhalt: "Die Evaluation der Ressortforschungseinrichtungen durch den Wissenschaftsrat wurde von den Bundesministerien anfänglich als Einmischung in interne Angelegenheiten vehement abgelehnt. Im Laufe der Evaluation ergab sich jedoch aus dieser ein Mehrwert für die Ressorts: Sie produzierte für die Ministerien erstmals konkrete Aussagen über die wissenschaftliche Leistungsfähigkeit der Einrichtungen. Zudem wurde es möglich, Empfehlungen der Weiterentwicklung mit der Realisierung eigener Interessen zu kombinieren. Schließlich verstärkte die Evaluation die Zusammenarbeit mit den Einrichtungen, was die ministerielle Steuerungskompetenz dauerhaft erhöhte." (Autorenreferat)
Inhalt: "The evaluation of departmental research agencies by the German Research Council were at first vehemently objected to by the federal ministries and considered as interfering with internal affairs. However, in the course of the evaluations, they proved to be beneficial to these departments: Clear statements about the institutions' scientific performance were produced for the ministries for the first time. Furthermore, it became possible to combine recommendations for further development with the implementation of their own interests. Ultimately, the evaluation strengthened collaboration with the research institutes to steadily improve the ministries' management skills." (author's abstract)
Evaluationen in der Wissenschaft : zu viel, zu oft und wie weiter?
Titelübersetzung:Evaluations in science : to much, too often and how to continue?
Autor/in:
Simon, Dagmar
Quelle: Forum Wissenschaft, Jg. 29 (2012) Nr. 4, S. 4-7
Inhalt: "Steuerung und Koordination in Wissenschaftssystemen sind in Fluss geraten. Doch es sind verschiedene, auch gegenläufige, Formate und Entwicklungen zu beobachten. Niedergeschlagen hat sich das auch in der Evaluation, wo Produkt- und Prozessorientierung in Widerspruch" (Autorenreferat)
Ungleiche Chancen im Wissenschaftssystem: Artefakt oder Realität?
Titelübersetzung:Unequal chances in the science system: artefact or reality?
Autor/in:
Jansen, Dorothea; Heidler, Richard; Görtz, Regina von
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 61 (2009) H. 3, S. 463-467
Inhalt: "Der Artikel 'Herausbildung einer akademischen Elite? Zum Einfluss von Größe und Reputation von Universitäten auf Forschungsförderung' von Katrin Auspurg, Thomas Hinz und Jürgen Güdler (Heft 4/2008 dieser Zeitschrift) setzt sich kritisch mit der von Richard Münch vertretenen These der Monopolisierung von Forschungschancen im deutschen Wissenschaftssystem auseinander. In dem Beitrag wird allerdings für die Analyse ein zur Widerlegung von Münchs These wenig geeigneter Gegenstand gewählt, das DFG-Normalverfahren. Problematische Tendenzen für das Wissenschaftssystem, so unsere und Münchs Vermutung, gehen jedoch eher von koordinierten Programmen und der Exzellenzinitiative aus. Zudem gelingt es in dem Beitrag nicht, die Analyse in einen breiteren Kontext der Funktionen und Auswirkungen der wachsenden Rolle der Drittmittelförderung im Wissenschaftssystem zu stellen." (Autorenreferat)
Inhalt: "The article 'Emergence of an academic elite? The impact of universities' size and reputation on research funding' by Katrin Auspurg, Thomas Hinz and Jürgen Güdler (volume 4/2008 of this Journal) discusses critically Richard Münch's thesis of monopolistic tendencies in the German science system. Unfortunately the authors focus in their analysis on an improper object, the 'Individual grants programme' (Normalverfahren) of the German Research Foundation (DFG). However, problematic developments for the German science system will rather result from the 'Coordinated grants programmes' (koordinierte Programme), in particular the excellence initiative. Furthermore the authors fail to connect their analysis to the broader context of the functions and implications of the increasing role of third party funding in the German science system." (author's abstract)
Quelle: Merkur : deutsche Zeitschrift für europäisches Denken, Jg. 62 (2008) H. 4, S. 346-349
Inhalt: Vom Konzern Thomson Scientific wird unter der Handelsmarke "Web of Science" ein Programm angeboten, das verspricht, dass alle Interessierten mit wenigen Mausklicks nicht nur feststellen können, wer was wo veröffentlicht hat, sondern auch, wer wen wie oft zitiert, so dass man aus der Häufigkeitsverteilung der Zitationen auf das Gewicht von Themen und Autoren schließen kann. Das Programm nutzen Wissenschaftsverwaltungen, um die Relevanz von Forschern und Forschungen sowie die relevanzgemäße Finanzierung derselben an der Zitationsfrequenz im "Web of Science" festmachen. Der Essay kritisiert dieses "Wissenschaftsranking" scharf, das Politikern, die keine Ruhe zum Lesen, keine Muße zum Reflektieren und keine Zeit zum Argumentieren haben, das "große Glück" verschafft, die von ihnen erwartete bedarfs- und qualitätsgerechte Mittelverteilung über einige einfache Zahlen ins Werk setzen zu können. Kritisiert wird die Übertragung der Idee des Rekords vom Sport und des Marktes (Wettbewerb) auf die Wissenschaft. Die Kehrseite der Sache ist bekannt. Sie heißt im Sport Doping und in der Wissenschaft Drittmittelfinanzierung, also das gezielte Einbringen fremder Interessen, die durch künstliche Leistungserhöhung eine Verbesserung der ökonomischen Verwertbarkeit der erzielten Resultate erwarten. Und zwar im allgemeinen dadurch, "dass man der ahnungslosen Öffentlichkeit weismacht, dass wahlweise die Größten, Schnellsten, Schönsten oder Klügsten auch die Besten sind". (ICA2)
Governanceregimes im Wandel : eine Analyse des außeruniversitären, staatlich finanzierten Forschungssektors in Deutschland
Titelübersetzung:Changing governance regimes : analysis of the state-funded, non-university research system in Germany
Autor/in:
Heinze, Thomas; Arnold, Natalie
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 60 (2008) H. 4, S. 686-722
Inhalt: "Seit Anfang der 1990er Jahre haben sich die Organisations- und Entscheidungsstrukturen im außeruniversitären Forschungssektor verändert. Dieser Wandel der Governanceregimes der Fraunhofer-Gesellschaft, der Max-Planck-Gesellschaft, der Helmholtz-Gemeinschaft und der Leibniz-Gemeinschaft wird mit einer breiten Palette quantitativer und qualitativer Daten analysiert. Die Analyse zeigt, dass die Outputeffizienz der vier Einrichtungen bei Publikationen und Patentanmeldungen deutlich gestiegen ist. Im Gegensatz zum Hochschulsektor lässt sich aber bislang kein Rückzug der staatlichen Governance feststellen. Auch haben hierarchisches Forschungsmanagement, Ressourcenwettbewerb, Netzwerkkoordination und Reputationswettbewerb an Bedeutung gewonnen. Die Vervielfachung der Koordinationsmechanismen deutet auf einen Trend zur Übersteuerung der außeruniversitären Forschung hin." (Autorenreferat)
Inhalt: "Since the early 1990s, substantial changes have been observed in the organizational and decision structures of the non-university research sector. Drawing on a broad spectrum of quantitative and qualitative evidence, we investigate these changes in the governance regimes of the Max-Planck Society, the Fraunhofer Society, the Helmholtz Association and the Leibniz Association. The analysis shows that the output efficiency of these four research organizations has increased markedly. Also, new governance mechanisms have become stronger, such as hierarchical management, resource competition, network coordination and international reputational competition. In contrast to developments in the university sector, however, we do not find evidence for a decrease in state influence. Rather, the governance regimes of research organizations have become more complex and tend to be over-steered." (author's abstract)
Exzellenz und Evaluationsstandards im internationalen Vergleich
Titelübersetzung:International comparison of excellence and evaluation standards
Autor/in:
Hornbostel, Stefan
Quelle: Gegenworte : Hefte für den Disput über Wissen, (2007) H. 17, S. 72-75
Inhalt: Der Verfasser setzt sich mit den Standards zur Bewertung wissenschaftlicher Leistungen auseinander und unterscheidet drei Haupttypen: die wissenschaftsinternen methodischen Standards, Verfahrensstandards und Standards im Sinne von Referenzobjekten. Dabei stellt er fest, dass die Frage der internationalen Standardbildung beim Einsatz von Peer-Review-Verfahren weitgehend ungeklärt ist. Vor dem Hintergrund einer schnell anwachsenden Internationalisierung des Gutachterwesens diagnostiziert er einen Mangel an Wissen über die Standardisierung der Gutachterkriterien und der Maßstäbe, der Berücksichtigung und der Wirkung nationaler Review-Kulturen, wenn der enge fachwissenschaftliche Beurteilungsdiskurs überschritten wird. Er kommt zum Schluss, dass die Bildung von Standards auch in Zukunft eine Mischung aus eingeübter und durchgesetzter Praxis, aus strategischen Kalkülen und einer kritischen Reflexion sein wird. (ICG2)
Drittmittel als Performanzindikator der wissenschaftlichen Forschung : zum Einfluss von Rahmenbedingungen auf Forschungsleistung
Titelübersetzung:Third party research funding and performance in research : on the effects of institutional conditions on research performance of teams
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 59 (2007) H. 1, S. 125-149
Inhalt: "Ressourcen innerhalb und zwischen Universitäten und in der außeruniversitären Forschung werden angesichts der Finanzknappheit im Wissenschaftssystem zunehmend in Abhängigkeit von Forschungsleistungen verteilt. Hiermit bekommen Evaluationsverfahren und die Messung von Forschungsleistungen einen neuen Stellenwert. Drittmitteleinkommen als relativ einfach zu erhebender Performanzindikator spielt in allen neuen leistungsbasierten Verteilungsverfahren eine große Rolle. Ziel dieses Beitrags ist es, die Aussagekraft von Drittmitteln für die Bewertung von Forschungsleistungen zu untersuchen. Auf der Grundlage von quantitativen und qualitativen Daten zu Forschungsgruppen aus drei sehr unterschiedlichen Forschungsfeldern wird der Zusammenhang von Strukturindikatoren, Drittmitteleinkommen als weiterem Inputfaktor und dem Output der wissenschaftlichen Produktion betrachtet. Hierbei zeigt sich, dass der Einsatz von Drittmitteln als Performanzindikator nur unterhalb eines von disziplinspezifischen Produktionsbedingungen bestimmten Schwellenwertes sinnvoll ist. Ferner ergibt die weitergehende Analyse, dass Forschungsperformanz mehrdimensional ist, Publikationen also nicht der einzig sinnvolle Indikator für Performanz sein können. Schließlich zeigt sich, dass die Bedingungen wissenschaftlicher Produktion zwischen den Fachgebieten so unterschiedlich sind, dass Performanzvergleiche nur innerhalb homogener Forschungsfelder sinnvoll einsetzbar sind. Abschließend werden die forschungspolitischen Implikationen für Forschungsfinanzierung und Forschungsevaluation diskutiert sowie weiterer Forschungsbedarf aufgezeigt." (Autorenreferat)
Inhalt: "Resources within and between higher education and research institutions are increasingly allocated according to scientific performance. Evaluation exercises and the measurement of research performance take on a new role in this context. Third party research income is a performance indicator which is rather easy to measure and is used in most of the new performance-based evaluation procedures. This paper sets out to scrutinize the meaning and validity of third party research income. The authors studied research teams from three different research fields with a mixed quantitative/ qualitative approach. The focus is on the causal relations between institutional/ input indicators, third party research income as another input indicator, and a variety of output indicators of scientific production. An important result is that third party money has a positive effect on performance only below a certain and discipline-specific threshold. Further analysis shows that output performance is to a great extent field-specific. The context conditions for scientific production differ greatly, so that comparative performance assessments are only valid within homogeneous research fields. Another important result is that output performance is multidimensional and cannot be measured by bibliometric indicators only. These findings have implications for the rationality of the evaluation assessment exercises as well as for the funding decisions of science foundations, ministries of science and - increasingly, the heads of universities and departments. These topics are discussed in the last chapter as well as the implications for further research." (author's abstract)
"Gefühlte" Exzellenz : implizite Kriterien der Bewertung von Wissenschaft als Dilemma der Wissenschaftspolitik
Titelübersetzung:"Felt" excellence : implicit criteria of the evaluation of science as a dilemma in science policy
Autor/in:
Matthies, Hildegard; Simon, Dagmar; Knie, Andreas
Quelle: Leviathan : Berliner Zeitschrift für Sozialwissenschaft, Sonderheft, (2007) H. 24, S. 331-343
Inhalt: Es mehren sich die staatlichen Anstrengungen, in die Autonomie wissenschaftlicher Arbeit einzugreifen und die Produkte von Wissenschaft und Forschung stärker zu kontrollieren. Dabei werden nicht mehr nur Universitäten und außeruniversitäre Einrichtungen mit Evaluationen konfrontiert, auch die Ressortforschungseinrichtungen des Bundes müssen sich neuerdings einer Qualitätsprüfung unterziehen. Parallel greifen zunehmend betriebswirtschaftliche Steuerungsinstrumente in den wissenschaftlichen Alltag ein mit dem Ziel, ökonomische Effizienzkriterien und Benchmarking auch in den wissenschaftlichen Einrichtungen zu etablieren. Betriebswirtschaftlich inspirierte Verfahren wie die Kosten- und Leistungsrechnung gehören mittlerweile zum Standardrepertoire von Universitäten und Forschungsinstituten und belegen die wissenschaftliche Tätigkeit mit umfangreichen Auflagen zu Nachweis- und Dokumentationspflichten. Dieser Trend zur unternehmerischen Orientierung von Wissenschaftsorganisationen führt neben der Krankheit "Evaluatis" zu dem zusätzlichen Problem, dass Evaluationen praktisch als eine Art Allzweckwaffe eingesetzt werden - nicht nur zur externen Kontrolle wissenschaftlicher Qualität, sondern auch für Stärken- und Schwächenanalysen von Wissenschaftsorganisationen bis hin zu ihrer Schließung. Ungeklärt bleibt insgesamt für die Autorinnen das "grundlegendes Dilemma" des Staates: Wie soll der Staat beurteilen können, was gute und was weniger gute wissenschaftliche Leistungen sind, da Wissenschaft stark selbstreferentiell operiert; Orientierung, Vergewisserung und Validierung wissenschaftlicher Arbeit erfolgt primär in den Fachgemeinschaften selbst. (ICA2)
Entwicklung von Genderkompetenz in der Wissenschaftspolitik?
Titelübersetzung:Development of gender competence in science policy?
Autor/in:
Maurer, Elisabeth
Quelle: Zeitschrift für Frauenforschung und Geschlechterstudien, Jg. 20 (2002) H. 3, S. 90-100
Inhalt: Die Autorin, Gleichstellungsbeauftragte der Universität Zürich, berichtet über Ansatzpunkte und Möglichkeiten, den Verlauf der Gleichstellung mit professioneller Kompetenz zu beschleunigen und "als Reformpotenzial in den aktuellen wissenschaftspolitischen Entscheidungsprozess einfließen" zu lassen. In einem ersten Schritt wird beschrieben, wie sich ein so genanntes Policy Window (Gelegenheitsfenster) in Form einer öffentlich ausgeschriebenen Maßnahme zur Einführung von Graduiertenkollegien zwecks Verbesserung der Ausbildung von (Post-)Doktoranden für eine gleichstellungspolitische Intervention nutzen lässt. Anschließend wird die Verknüpfung des Kernprojektes dieser Intervention, ein Graduiertenkolleg zur Genderthematik, mit einer Begleitstudie im Kontext des Projektes SOWI-Disslabor (sozialwissenschaftliches Dissertationslabor mit Gleichstellungsanspruch) dargestellt. Dabei soll das Graduiertenkolleg Gender und sein zentrales Ziel der Geschlechtergerechtigkeit einer regelmäßigen formativen Evaluation unterzogen werden, was jedoch an mangelnder Zeit und Bereitschaft seitens der WissenschaftlerInnen scheitert. Stattdessen wird eine "institutionalisierte Reflexion" im Umfang einer kritischen Analyse beschlossen. In einem Resümee verweist die Autorin auf die positiven Auswirkungen des Projektes SOWI-Disslabor: einerseits sind vier weitere Graduiertenkollegien zu Gender Studies gegründet worden und des weiteren ist eine stärkere institutionelle Verankerung der Gleichstellung von Frau und Mann an der Universität Zürich festzustellen. (ICG)
Schlagwörter:Frauenforschung; Frauenbeauftragte; Wissenschaftspolitik; Forschungsbericht; Promotion; Evaluation; Frauenförderung; Politik