"Exzellente" Forschung ohne exzellente Organisation? : wie Evaluationen zur Organisationsentwicklung beitragen können
Titelübersetzung:"Excellent" research without excellent organization? : how evaluations can contribute towards organizational development
Autor/in:
Simon, Dagmar; Knie, Andreas
Quelle: Gut - besser - exzellent?: Qualität von Forschung, Lehre und Studium entwickeln. Ulf Banscherus (Hrsg.), Klemens Himpele (Hrsg.), Andreas Keller (Hrsg.). Wissenschaftskonferenz "Gut - besser - exzellent? Qualität von Forschung, Lehre und Studium entwickeln"; Bielefeld: Bertelsmann (GEW-Materialien aus Hochschule und Forschung), 2012, S. 87-96
Details
Inhalt: Bei der Bewertung der Qualität von Wissenschaft, also beispielsweise bei institutionellen Evaluationen, spielen bislang Fragen der Organisationsentwicklung keine oder allenfalls eine marginale Rolle. Im vorliegenden Beitrag wird anhand von Evaluationsverfahren in Deutschland und Großbritannien überprüft, ob und wie Bewertungsverfahren für die internen Prozesse der Organisationsentwicklung genutzt werden können und in welchem Ausmaß dies in Abhängigkeit vom jeweiligen Verfahren geschieht. Für die Fähigkeit einer Forschungseinrichtung, Bewertungen und gegebenenfalls Handlungsempfehlungen externer Gutachter in interne Organisationsprozesse zu überführen bzw. zu integrieren, sind vor allem die strategische Ausrichtung sowie die operative Umsetzung der Bewertung entscheidend. Neben der Frage, welche Bedeutung die Frage der Organisationsentwicklung grundsätzlich einnimmt, ist die Form der Kommunikation vor, nach und während der unmittelbaren Begutachtung von Belang: Welche Statusgruppen werden in welcher Weise einbezogen? In welcher Form erfolgen Feedbackprozesse? So wird in den Verfahren der Leibniz-Gemeinschaft zum Teil direkt auf die organisatorischen, strukturellen und personellen Rahmenbedingungen und Voraussetzungen für leistungsfähige Forschung eingegangen, während diese Rahmenbedingungen im britischen "Research Assessment Exercise" (RAE) keine oder nur eine marginale Rolle spielen. Dennoch sind auch hier Auswirkungen auf interne Umstrukturierungen der Institute bzw. Fakultäten erkennbar. (ICI2)
Schlagwörter:Großbritannien; Forschungseinrichtung; Leibniz-Gemeinschaft; Evaluation; Leistungsbewertung; Organisationsentwicklung; Verfahren; Gutachten; Qualitätssicherung
CEWS Kategorie:Wissenschaftspolitik, Außerhochschulische Forschung, Hochschulen
Dokumenttyp:Sammelwerksbeitrag
Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Details
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Schlagwörter:Hochschulforschung; öffentlich-rechtliche Einrichtung; Rundfunk; Bewertung; Evaluation; Qualitätssicherung; Politikfeld; Politikfeldanalyse; Qualität; Operationalisierung; Leistungsbewertung; Beurteilung; Begriff; Messung; vergleichende Forschung; Soll-Ist-Vergleich; Auswirkung
CEWS Kategorie:Hochschulen, Wissenschaftspolitik
Dokumenttyp:Zeitschriftenaufsatz
Der Journal Impact Factor : Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation
Titelübersetzung:The journal impact factor : relevance, limitations and alternatives in research evaluation
Autor/in:
Marx, Werner; Bornmann, Lutz
Quelle: Beiträge zur Hochschulforschung, Jg. 34 (2012) H. 2, S. 50-66
Details
Inhalt: "Der Journal Impact Factor ist neben dem h Index zum wohl bekanntesten bibliometrischen Indikator zur Bewertung von Forschungsleistung geworden. Ursprünglich zur Einstufung von Zeitschriften als Ganzes innerhalb enger Fachkategorien erfunden, wird er inzwischen vielfach zur Bewertung der Publikationen von Wissenschaftlern und Forschungsinstituten herangezogen - was jedoch nicht mit bibliometrischer Bewertung an sich gleichgesetzt werden darf. Dieser Beitrag diskutiert zunächst die Grenzen der Anwendung von Journal Impact Factors im Hinblick auf den ursprünglichen Zweck. Es wird aufgezeigt, warum diese selbst im Bereich der Bewertung von Zeitschriften problematisch sein können. Sodann wird dargelegt, warum Journal Impact Factors für die Bewertung der Publikationen von einzelnen Wissenschaftlern oder ganzer Forschungseinrichtungen ungeeignet sind. Schließlich werden alternative und aussagekräftigere Metriken für die quantitative (d. h. bibliometrische) Forschungsevaluation aufgezeigt. Abschließend wird grundsätzlich auf die Aussagekraft und die Grenzen der Bibliometrie in der Forschungsevaluation eingegangen." (Autorenreferat)
Inhalt: "The journal impact factor, besides the h Index, has become probably the best-known bibliometric indicator for the evaluation of research performance. Originally devised for the purposes of classifying journals as a whole within narrow subject categories, it is now frequently used to evaluate the publications of scientists and research institutes - though this is something that should not be equated with bibliometric analysis per se. This paper begins by discussing the limitations in the application of the journal impact factor with respect to its original purpose. The paper shows why it can be problematic even in the evaluation of journals. It goes on to demonstrate why journal impact factors are unsuitable for evaluating the publications of individual scientists or entire research institutes. Finally, the paper points out alternative and more relevant metrics for quantitative (i. e. bibliometric) research evaluation. In conclusion, the paper fundamentally addresses the relevance and the limitations of bibliometrics in research evaluation." (author's abstract)
Schlagwörter:Evaluation; Index; Publikation; Bewertung; Anwendung; Forschungseinrichtung; Zeitschrift; Wissenschaftsdisziplin; Szientometrie
CEWS Kategorie:Wissenschaftspolitik
Dokumenttyp:Zeitschriftenaufsatz
Evaluationen in der Wissenschaft : zu viel, zu oft und wie weiter?
Titelübersetzung:Evaluations in science : to much, too often and how to continue?
Autor/in:
Simon, Dagmar
Quelle: Forum Wissenschaft, Jg. 29 (2012) Nr. 4, S. 4-7
Details
Inhalt: "Steuerung und Koordination in Wissenschaftssystemen sind in Fluss geraten. Doch es sind verschiedene, auch gegenläufige, Formate und Entwicklungen zu beobachten. Niedergeschlagen hat sich das auch in der Evaluation, wo Produkt- und Prozessorientierung in Widerspruch" (Autorenreferat)
Schlagwörter:Evaluation; Steuerung; Koordination; Prozess; Produkt; Orientierung; Entwicklung; neues Steuerungsmodell; Legitimation; Internationalisierung; Bologna-Prozess; außeruniversitäre Forschung; Ranking; Rating; Peer Review; Qualitätssicherung; Anreizsystem; Einfluss; Stakeholder; Wissenschaftspolitik; Intervention; organisatorischer Wandel; institutioneller Wandel; Leistungsorientierung
CEWS Kategorie:Wissenschaftspolitik
Dokumenttyp:Zeitschriftenaufsatz