Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Ungleiche Chancen im Wissenschaftssystem: Artefakt oder Realität?
Titelübersetzung:Unequal chances in the science system: artefact or reality?
Autor/in:
Jansen, Dorothea; Heidler, Richard; Görtz, Regina von
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 61 (2009) H. 3, S. 463-467
Inhalt: "Der Artikel 'Herausbildung einer akademischen Elite? Zum Einfluss von Größe und Reputation von Universitäten auf Forschungsförderung' von Katrin Auspurg, Thomas Hinz und Jürgen Güdler (Heft 4/2008 dieser Zeitschrift) setzt sich kritisch mit der von Richard Münch vertretenen These der Monopolisierung von Forschungschancen im deutschen Wissenschaftssystem auseinander. In dem Beitrag wird allerdings für die Analyse ein zur Widerlegung von Münchs These wenig geeigneter Gegenstand gewählt, das DFG-Normalverfahren. Problematische Tendenzen für das Wissenschaftssystem, so unsere und Münchs Vermutung, gehen jedoch eher von koordinierten Programmen und der Exzellenzinitiative aus. Zudem gelingt es in dem Beitrag nicht, die Analyse in einen breiteren Kontext der Funktionen und Auswirkungen der wachsenden Rolle der Drittmittelförderung im Wissenschaftssystem zu stellen." (Autorenreferat)
Inhalt: "The article 'Emergence of an academic elite? The impact of universities' size and reputation on research funding' by Katrin Auspurg, Thomas Hinz and Jürgen Güdler (volume 4/2008 of this Journal) discusses critically Richard Münch's thesis of monopolistic tendencies in the German science system. Unfortunately the authors focus in their analysis on an improper object, the 'Individual grants programme' (Normalverfahren) of the German Research Foundation (DFG). However, problematic developments for the German science system will rather result from the 'Coordinated grants programmes' (koordinierte Programme), in particular the excellence initiative. Furthermore the authors fail to connect their analysis to the broader context of the functions and implications of the increasing role of third party funding in the German science system." (author's abstract)
Die Konstruktion soziologischer Exzellenz durch Forschungsrating
Titelübersetzung:The construction of sociological excellence through research rating
Autor/in:
Münch, Richard
Quelle: Soziale Welt : Zeitschrift für sozialwissenschaftliche Forschung und Praxis, Jg. 60 (2009) H. 1, S. 63-89
Inhalt: "Das von einer Bewertungsgruppe im Auftrag des Wissenschaftsrates als Pilotstudie durchgeführte und 2008 veröffentlichte Forschungsrating Soziologie soll sich gegenüber den herkömmlichen Rankings durch bessere Qualität und Multidimensionalität auszeichnen. Wie in dem Aufsatz dargelegt wird, hatte jedoch auch dieses Evaluationsverfahren erhebliche Probleme, der Vielfalt der Forschungsrealität gerecht zu werden und treffsichere sowie zuverlässige Indikatoren der Forschungsaktivitäten zu bilden. Auch das Forschungsrating hat selektiv soziologische Exzellenz konstruiert, die sich bei anderer Messung anders darstellen würde. Ein bislang offenes Feld gleichberechtigter Diskursteilnehmer wird einer Stratifikation unterworfen, die zur weiteren Selbstreproduktion tendiert, weil die erworbenen Wettbewerbsvorteile in weitere Vorteile umgesetzt werden können. Die Soziologie entfernt sich so weiter als bisher von der idealen Sprechsituation. Die Evolution des soziologischen Wissens wird durch zunehmende Vermachtung geschlossen." (Autorenreferat)
Inhalt: "The research rating of sociology, carried out and published in 2008 by an evaluation group as a pilot study on behalf of the German Science Council, is expected to distinguish itself by higher quality and multi-dimensionality compared to ordinary rankings. This article will show that this procedure of evaluation itself faces considerable problems in doing justice to the varied reality of research and building valid and reliable indicators of research activities. The research rating itself selectively constructs sociological excellence, which would look quite different if measured in other ways. A thus far open field of equally licensed participants in discourse is subjected to stratification, which tends towards self-reproduction, because acquired competitive advantages can be turned into further advantages. Hence, sociology moves farther away than before from the ideal speech situation. The evolution of sociological knowledge is closed by increasing subjection to power structures." (author's abstract)
Forschung und Beratung : das Zentrum für Evaluation und Methoden
Titelübersetzung:Research and counseling : the Center for Evaluation and Methods
Herausgeber/in:
Rudinger, Georg; Hörsch, Katharina; Krüger, Thomas
Quelle: Göttingen: V&R unipress (Applied research in psychology and evaluation, Vol. 3), 2009. 339 S.
Inhalt: "Das Zentrum für Evaluation und Methoden (ZEM) arbeitet als universitäre Einrichtung in einem energiereichen Kraftfeld aus Wissenschaft - Forschung und Lehre - und Dienstleistung - Auftragsforschung und Beratung. Seit der Gründung des ZEM 1999 wurden verschiedenste Projekte durchgeführt, bei denen die im ZEM gebündelten Kompetenzen in Forschung, Beratung und Durchführung von Umfragen zur Geltung gekommen sind. Als Schwerpunkte haben sich Evaluation und Qualitätssicherung, Umfragen und Statistik sowie Methodenentwicklung und -anwendung herausgebildet. Hier hat das ZEM langjährige Erfahrung, erworben und vertieft durch Kooperationen mit zahlreichen Partnern und Auftraggebern aus Wissenschaft und Wirtschaft. Anlässlich des zehnjährigen Bestehens des ZEM gibt der vorliegende Band Einblick in die breit gefächerten Projekte, die eine solide Basis für zukünftige Unternehmungen bilden und günstige Perspektiven eröffnen." (Autorenreferat). Inhaltsverzeichnis: Vorwort (9); Georg Rudinger: Das Zentrum für Evaluation und Methoden (11-21); Teil I. Evaluation und Qualitätssicherung im universitären Kontext: Georg Rudinger: Hochschulautonomie als Change Prozess: Der Weg zum umfassenden Qualitätsmanagement (25-37); Katharina Hörsch, Georg Rudinger: Qualitätssicherung von Lehre und Studium an Hochschulen: Von Evaluationsergebnissen zu Maßnahmen - aktuelle Entwicklungen an der Universität Bonn (39-47); René Costa: Das Bonner Modell der Hochschulevaluation: Erste Erfahrungen mit der Implementierung einer webbasierten Modul- und Lehrveranstaltungsevaluation (49-54); Eva Sindern, Sandra Pietrangeli: Validitätsforschung im Zuge der Entwicklung fachspezifischer Online Self-Assessments an der Rheinischen Friedrich-Wilhelms-Universität Bonn (55-66); Maximilian Ponert, Katharina Hörsch: Evaluation von Change Management am Beispiel der Bonner Universitätsverwaltung (67-74); Katharina Hörsch, Georg Rudinger: Der Net Promoter Score® an der Universität Bonn (75-88); Alexandra Borsch: Der Net Promoter Score (NPS) als diagnostisches Instrument zur Analyse der Loyalität interner Kunden (89-104); Teil II. Evaluation und Qualitätssicherung in verschiedenen Anwendungsfeldern: Kristina Heidemann: Perspektiven zur Evaluation von Entsendungsprozessen und Auslandseinsätzen - die Entwicklung eines längsschnittlichen Designs (107-125); Maximilian Ponert, Uwe Kleinemas: Wissenschaftliche Museumsevaluation: Ein Bericht erfolgreicher Kooperationen zwischen dem Zentrum für Evaluation und Methoden und Museen der Bonner Region (127-132); Georg Rudinger, Kieran Donaghy & Stefan Poppelreuter: Societal trends, mobility behaviour and sustainable transport in Europe and North America (133-151); Georg Rudinger, Kristina Kocherscheid: Verkehrssicherheitsperspektiven für eine in die Jahre kommende Gesellschaft (153-179); Kristina Kocherscheid: Konzeption und Evaluation einer ärztlichen Fortbildung zur Mobilitätsberatung älterer Kraftfahrer (181-191); Georg Rudinger, Anton Reiter: Zur Evaluation der theoretischen Fahrerlaubnisprüfung (193-203); Renate Soellner, Stefan Huber, Norbert Lenartz & Georg Rudinger: Gesundheitskompetenz (205-220); Teil III. Umfragen: Thomas Krüger, Georg Rudinger: Rektoren-Ranking: Rektor des Jahres 2009 (223-230); Thomas Krüger, Astrid Mayerböck: Der Net Promoter Score als Kennziffer zur Unternehmenssteuerung (231-240); Michael Paulus: Using NPS to play offense (241-246); Astrid Mayerböck: Bedarfsanalyse eines Gründerzentrums an der Universität Bonn (247-255); Uwe Feeser-Lichterfeld, Sandra Pietrangeli, Eva Sindern, Uwe Kleinemas, Michael Fuchs & Georg Rudinger: Lebensverlängerung und Verlangsamung des menschlichen Alterns (257-270); Teil IV. Methoden und Statistik: Norbert Hilger, Thomas Krüger: Zur Güte von Hörererhebungen in der Radioforschung (273-284); Georg Rudinger: Analyse von Daten aus Längsschnittstudien: Eine Einführung (285-296); Simon Riek, Thomas Krüger & Georg Rudinger: Befragungsmethodische Aspekte des IW-Zukunftspanels (297-315); Teil V. Perspektive: Heike Steckhan, Katrin Wahlers & Kristina Heidemann: Wege zur Professionalisierung: Masterstudiengang Evaluation (319-323).
CEWS Kategorie:Hochschulen, Wissenschaftspolitik, Statistik und statistische Daten
Dokumenttyp:Sammelwerk
Qualitätsentwicklung von Forschung durch Evaluation : Institutionen und Verfahren
Titelübersetzung:Development of the quality of research through evaluation : institutes and procedures
Autor/in:
Schophaus, Malte
Quelle: Sozialwissenschaften und Berufspraxis, Jg. 31 (2008) H. 1, S. 79-93
Inhalt: Der Beitrag liefert einen Überblick über Funktion und Verfahren von Forschungsevaluationen sowie ihrer Institutionen in Deutschland. Die Darstellung der Forschungsevaluation beschränkt sich weitgehend auf Verfahren und Institutionen des Informed Peer Review, ergänzt durch Indikatoren zur Erstellung von Forschungsindikatoren. So werden im ersten Schritt zunächst die gängigen Indikatoren der Forschungsqualität kurz dargestellt. Im zweiten Schritt werden anschließend die wichtigsten Institutionen (Wissenschaftsrat, Wissenschaftliche Kommission Niedersachsen, Zentrum für Evaluation und Methoden -ZEM - an der Universität Bonn), die Forschungsevaluationen in Deutschland durchführen, benannt und kategorisiert. Sodann wird das grundlegende Verfahren der auf Peer Review basierenden Forschungsevaluationen beschrieben und unterschiedliche Ausprägungen dargestellt. Im vierten Schritt werden schließlich Aspekte der Akzeptanz von Forschungsevaluationen identifiziert. Abschließend wird ein Ausblick auf die Entwicklung von Forschungsevaluation gegeben, der ein informations- und kontrollorientiertes Verständnis von Forschungsevaluation einem entwicklungsorientierten Verständnis gegenüberstellt. (ICG2)
Quelle: Bielefeld: Bertelsmann (GEW-Materialien aus Hochschule und Forschung, 114), 2008. 117 S.
Inhalt: "Der vorliegende Tagungsband zieht eine erste Bilanz der Exzellenzinitiative an den deutschen Hochschulen. Die Autoren befassen sich in ihren Beiträgen mit den Voraussetzungen für exzellente, wettbewerbsorientierte Hochschulen, mit der Entscheidungsfindung in den Gutachtergremien und den möglichen Folgen der Exzellenzinitiative für die akademische Lehre, die Nachwuchsförderung, die Gleichstellungspolitik und die deutsche Hochschullandschaft insgesamt. Der Band veröffentlicht die Ergebnisse der Tagung 'Making Excellence', die das Institut für Hochschulforschung (HoF) in Kooperation mit der Gewerkschaft Erziehung und Wissenschaft (GEW) veranstaltet hat." (Autorenreferat). Inhaltsverzeichnis: Peer Pasternack: Die Exzellenzinitiative als politisches Programm - Fortsetzung der normalen Forschungsförderung oder Paradigmenwechsel? (13-36); Wolfgang Fach: "Unbedingte Universitäten" (37-44); Peter Scharff: Die Exzellenzinitiative: eine Reflexion der TU Ilmenau (45-48); Stefan Hornbostel: Evaluation der Exzellenzinitiative: Gibt es objektive Kriterien für Exzellenz? (49-64); Johannes Moes: Was bedeutet die Exzellenzinitiative für die Nachwuchsförderung? (65-84); Anke Burkhardt: Excellence meets Gender (85-98); Roland Bloch, Andre Lottmann, Carsten Würmann: Making Excellence - Die Exzellenzinitiative 2004-2008 (99-116).
Evaluation der Exzellenzinitiative: Gibt es objektive Kriterien für Exellenz?
Titelübersetzung:Evaluation of the Excellence Initiative: are there objective criteria for excellence?
Autor/in:
Hornbostel, Stefan
Quelle: Making Excellence: Grundlagen, Praxis und Konsequenzen der Exzellenzinitiative. Roland Bloch (Hrsg.), Andreas Keller (Hrsg.), André Lottmann (Hrsg.), Carsten Würmann (Hrsg.). Bielefeld: Bertelsmann (GEW-Materialien aus Hochschule und Forschung), 2008, S. 49-63
Inhalt: Der Kompromisscharakter der Exzellenzinitiative, der auch in den Ausschreibungskriterien deutlich wird, so der Verfasser, führt dazu, dass sich eine Evaluation der Initiative auf ein ganzes Bündel von Zielen einrichten muss. Viele der Maßnahmen zur Umsetzung dieser Ziele sind nur in einer längerfristigen und vergleichenden Perspektive beurteilbar. Die Forderungen des Wissenschaftsrats nach "Messbarkeit des Erfolges" stellt darüber hinaus hohe Anforderungen an die Operationalisierung relativ vager Ziele. Die Frage, ob es objektive Kriterien für die Evaluation der Exzellenzinitiative gibt, kann man sicherlich mit Nein beantworten, wenn damit die Vorstellung verbunden ist, mit wenigen Indikatoren sehr schnell zu allen Fördermaßnahmen messbare Erfolge zu präsentieren. Das heißt aber nicht, dass die Exzellenzinitiative einer Evaluation nicht zugänglich wäre. Es gibt sowohl harte wie weiche Kriterien, die fach- und förderprogrammspezifisch genutzt werden können, um die Effekte der Förderung abzuschätzen. Dazu wird es eines etwas längeren Atems bedürfen, der Entwicklung geeigneter Erfassungsinstrumente, eines Methodenmix und einer vergleichenden Perspektive. (ICF2)
Quelle: Making Excellence: Grundlagen, Praxis und Konsequenzen der Exzellenzinitiative. Roland Bloch (Hrsg.), Andreas Keller (Hrsg.), André Lottmann (Hrsg.), Carsten Würmann (Hrsg.). Bielefeld: Bertelsmann (GEW-Materialien aus Hochschule und Forschung), 2008, S. 85-98
Inhalt: Mit der Exzellenzinitiative ist die Hoffnung verknüpft, so die Verfasserin, das Qualitätstabu nachhaltig zu brechen. Ob diese Hoffnung berechtigt ist bzw. was nötig ist, um dem Zusammenhang von Qualitätszuwachs und Gleichstellungsfortschritt in der scientific community Geltung zu verschaffen, wird in der Studie diskutiert. Es wird argumentiert, dass man bei der Vorlage der Zukunftskonzepte mit gleichstellungspolitischen Themen punkten konnte. Es musste aber offensichtlich nicht. Dass Gleichstellung überhaupt hochschulpolitische Beachtung als Kriterium für Exzellenz fand, dürfte maßgeblich der internationalen Zusammensetzung der Entscheidungsgremien zu verdanken sein. Einen Beleg für die beigemessene Wertigkeit liefert die Einschätzung des Zukunftskonzeptes der Humboldt-Universität zu Berlin. Die Gutachter beurteilten deren neues Mentoring-Programm für Frauen zwar als positiven Ansatz, bemängelten aber gleichzeitig die geringe Zahl der betroffenen Personen. (ICF2)
Drittmittel als Performanzindikator der wissenschaftlichen Forschung : zum Einfluss von Rahmenbedingungen auf Forschungsleistung
Titelübersetzung:Third party research funding and performance in research : on the effects of institutional conditions on research performance of teams
Quelle: Kölner Zeitschrift für Soziologie und Sozialpsychologie, Jg. 59 (2007) H. 1, S. 125-149
Inhalt: "Ressourcen innerhalb und zwischen Universitäten und in der außeruniversitären Forschung werden angesichts der Finanzknappheit im Wissenschaftssystem zunehmend in Abhängigkeit von Forschungsleistungen verteilt. Hiermit bekommen Evaluationsverfahren und die Messung von Forschungsleistungen einen neuen Stellenwert. Drittmitteleinkommen als relativ einfach zu erhebender Performanzindikator spielt in allen neuen leistungsbasierten Verteilungsverfahren eine große Rolle. Ziel dieses Beitrags ist es, die Aussagekraft von Drittmitteln für die Bewertung von Forschungsleistungen zu untersuchen. Auf der Grundlage von quantitativen und qualitativen Daten zu Forschungsgruppen aus drei sehr unterschiedlichen Forschungsfeldern wird der Zusammenhang von Strukturindikatoren, Drittmitteleinkommen als weiterem Inputfaktor und dem Output der wissenschaftlichen Produktion betrachtet. Hierbei zeigt sich, dass der Einsatz von Drittmitteln als Performanzindikator nur unterhalb eines von disziplinspezifischen Produktionsbedingungen bestimmten Schwellenwertes sinnvoll ist. Ferner ergibt die weitergehende Analyse, dass Forschungsperformanz mehrdimensional ist, Publikationen also nicht der einzig sinnvolle Indikator für Performanz sein können. Schließlich zeigt sich, dass die Bedingungen wissenschaftlicher Produktion zwischen den Fachgebieten so unterschiedlich sind, dass Performanzvergleiche nur innerhalb homogener Forschungsfelder sinnvoll einsetzbar sind. Abschließend werden die forschungspolitischen Implikationen für Forschungsfinanzierung und Forschungsevaluation diskutiert sowie weiterer Forschungsbedarf aufgezeigt." (Autorenreferat)
Inhalt: "Resources within and between higher education and research institutions are increasingly allocated according to scientific performance. Evaluation exercises and the measurement of research performance take on a new role in this context. Third party research income is a performance indicator which is rather easy to measure and is used in most of the new performance-based evaluation procedures. This paper sets out to scrutinize the meaning and validity of third party research income. The authors studied research teams from three different research fields with a mixed quantitative/ qualitative approach. The focus is on the causal relations between institutional/ input indicators, third party research income as another input indicator, and a variety of output indicators of scientific production. An important result is that third party money has a positive effect on performance only below a certain and discipline-specific threshold. Further analysis shows that output performance is to a great extent field-specific. The context conditions for scientific production differ greatly, so that comparative performance assessments are only valid within homogeneous research fields. Another important result is that output performance is multidimensional and cannot be measured by bibliometric indicators only. These findings have implications for the rationality of the evaluation assessment exercises as well as for the funding decisions of science foundations, ministries of science and - increasingly, the heads of universities and departments. These topics are discussed in the last chapter as well as the implications for further research." (author's abstract)
Empfehlungen zur Evaluation universitärer und außeruniversitärer Forschung in Österreich
Titelübersetzung:Recommendations regarding the evaluation of university and non-university research in Austria
Autor/in:
Campbell, David F.J.; Felderer, Bernhard
Quelle: Wien (Reihe Politikwissenschaft / Institut für Höhere Studien, Abt. Politikwissenschaft, No. 66), 1999. 89 S.
Inhalt: "Es werden Empfehlungen für die Evaluation universitärer und außeruniversitärer Forschung in Österreich zur Diskussion gestellt. Es handelt sich dabei um das 'Executive Summary' des Endberichtes einer aktuell abgeschlossenen Studie für das Bundesministerium für Wissenschaft und Verkehr (BMWV). Die Herausforderung besteht darin, für Österreichs universitäre Forschung ein Evaluations-Gesamtmodell zu designen, das sich flächendeckend und systematisch anwenden läßt. Der hier präsentierte Entwurf sieht einen dualen Evaluationsmodus vor, der zwei Evaluationsansätze gleichberechtigt miteinander kombiniert: einerseits ein 'Monitoring' sowie andererseits eine externe ex post Evaluation von universitärer Forschung. In Abhängigkeit von den Evaluationsergebnissen und auf Basis einer Forschungspunkteformel können den Universitätsinstituten 'Forschungspunkte' zugeteilt werden. Davon lassen sich wiederum systematische Konsequenzen für Ressourcenallokationen ableiten. Neben der Evaluation universitärer Forschung entwerfen die Autoren ein Evaluations-Gesamtmodell für die außeruniversitäre Forschung, das Schnittstellen zum universitären Evaluationsmodell aufweist. Ferner stellen sie Empfehlungen für die Forschungsfinanzierung und für die Forschungsförderung des FWF (Fonds zur Förderung der wissenschaftlichen Forschung) zur Diskussion." (Autorenreferat)
Inhalt: "In the following paper we present recommendations for the evaluation of university and university- related ('außeruniversitäre') research in Austria, based on the executive summary of the final report of a recently completed study commissioned by the Austrian Federal Ministry of Science and Transport (BMWV). Our challenge is to design a comprehensive evaluation model for Austrian university research, which can be applied systematically on a nationwide scale. A dual evaluation mode is proposed that equally combines two different evaluation concepts: first a monitoring and, second, an external ex post evaluation of university research. Derived from such evaluation results and based on an explicit formula, it should be possible to accredit 'research points' to university departments that again allow for consequences with respect to the allocation of resources. In addition, we also develop a comprehensive evaluation model for university-related research that expresses compatibility with university evaluation. Furthermore, we suggest several recommendations concerning the financing of research as well as the re-search promotion activities of the FWF (Austrian Science Fund)." (author's abstract)