"Exzellente" Forschung ohne exzellente Organisation? : wie Evaluationen zur Organisationsentwicklung beitragen können
Titelübersetzung:"Excellent" research without excellent organization? : how evaluations can contribute towards organizational development
Autor/in:
Simon, Dagmar; Knie, Andreas
Quelle: Gut - besser - exzellent?: Qualität von Forschung, Lehre und Studium entwickeln. Ulf Banscherus (Hrsg.), Klemens Himpele (Hrsg.), Andreas Keller (Hrsg.). Wissenschaftskonferenz "Gut - besser - exzellent? Qualität von Forschung, Lehre und Studium entwickeln"; Bielefeld: Bertelsmann (GEW-Materialien aus Hochschule und Forschung), 2012, S. 87-96
Inhalt: Bei der Bewertung der Qualität von Wissenschaft, also beispielsweise bei institutionellen Evaluationen, spielen bislang Fragen der Organisationsentwicklung keine oder allenfalls eine marginale Rolle. Im vorliegenden Beitrag wird anhand von Evaluationsverfahren in Deutschland und Großbritannien überprüft, ob und wie Bewertungsverfahren für die internen Prozesse der Organisationsentwicklung genutzt werden können und in welchem Ausmaß dies in Abhängigkeit vom jeweiligen Verfahren geschieht. Für die Fähigkeit einer Forschungseinrichtung, Bewertungen und gegebenenfalls Handlungsempfehlungen externer Gutachter in interne Organisationsprozesse zu überführen bzw. zu integrieren, sind vor allem die strategische Ausrichtung sowie die operative Umsetzung der Bewertung entscheidend. Neben der Frage, welche Bedeutung die Frage der Organisationsentwicklung grundsätzlich einnimmt, ist die Form der Kommunikation vor, nach und während der unmittelbaren Begutachtung von Belang: Welche Statusgruppen werden in welcher Weise einbezogen? In welcher Form erfolgen Feedbackprozesse? So wird in den Verfahren der Leibniz-Gemeinschaft zum Teil direkt auf die organisatorischen, strukturellen und personellen Rahmenbedingungen und Voraussetzungen für leistungsfähige Forschung eingegangen, während diese Rahmenbedingungen im britischen "Research Assessment Exercise" (RAE) keine oder nur eine marginale Rolle spielen. Dennoch sind auch hier Auswirkungen auf interne Umstrukturierungen der Institute bzw. Fakultäten erkennbar. (ICI2)
Probleme und Methoden der Qualitätsbewertung in verschiedenen Politikfeldern : Gemeinsamkeiten und Unterschiede in den Ansätzen zur Qualitätserfassung und Evaluation in Hochschulen und öffentlich-rechtlichem Rundfunk
Titelübersetzung:Problems and methods of quality evaluation in different policy fields : similarities and differences of quality measurement and evaluation approaches in higher education and public broadcasting
Autor/in:
Seyfried, Markus
Quelle: Zeitschrift für Evaluation, Jg. 11 (2012) H. 2, S. 209-232
Inhalt: "Der Artikel widmet sich der Gegenüberstellung von methodischen Problemen der Qualitätsbewertung im Bereich der Hochschulen und des öffentlich-rechtlichen Rundfunks. Beide Politikfelder sind in weiten Teilen durch gleichgerichtete externe und interne Rahmenbedingungen gekennzeichnet und sind damit geradezu prädestiniert für eine vergleichende Gegenüberstellung. Die Probleme der Qualitätsbewertung werden dabei unter drei zentralen Gesichtspunkten diskutiert: (1) die Definition von Qualität, (2) die Operationalisierung von Qualität und (3) die Interpretation von Qualität. Die zu bewältigenden Probleme sind in beiden Politikfeldern nicht immer gleich gelagert, sondern variieren in Abhängigkeit der Untersuchungskriterien. Folglich können die Debatten über die Qualitätserhebungen im öffentlich-rechtlichen Rundfunk und an Universitäten voneinander lernen. Interdisziplinäre Betrachtungen bieten damit eine große Chance zur Entwicklung von Methoden und Perspektiven." (Autorenreferat)
Inhalt: "This article distinguishes methodological problems in quality evaluation and measurement in two policy fields, namely higher education and public broadcasting. Both are characterized by similar external and internal basic conditions and are thus suitable for comparative research. The difficulties of quality measurement and evaluation are discussed with respect to three main features: (1) definition of quality, (2) operationalization of quality and (3) Interpretation of quality. Furthermore the identified difficulties in both areas are not always the same, because they depend on different research criteria. Thus the debates of quality measurement and evaluation in higher education and public broadcasting can learn from each other and increase the understanding of quality measurement in general. In addition the comparative design provides opportunities for the development of methods and perspectives." (author's abstract)
Evaluationen in der Wissenschaft : zu viel, zu oft und wie weiter?
Titelübersetzung:Evaluations in science : to much, too often and how to continue?
Autor/in:
Simon, Dagmar
Quelle: Forum Wissenschaft, Jg. 29 (2012) Nr. 4, S. 4-7
Inhalt: "Steuerung und Koordination in Wissenschaftssystemen sind in Fluss geraten. Doch es sind verschiedene, auch gegenläufige, Formate und Entwicklungen zu beobachten. Niedergeschlagen hat sich das auch in der Evaluation, wo Produkt- und Prozessorientierung in Widerspruch" (Autorenreferat)
Quelle: Handbuch Wissenschaftspolitik. Dagmar Simon (Hrsg.), Andreas Knie (Hrsg.), Stefan Hornbostel (Hrsg.). Wiesbaden: VS Verl. für Sozialwiss., 2010, S. 293-309
Inhalt: Die mannigfaltigen Funktionen der Evaluation erklären - so die These des Beitrags- , warum es nur schwer möglich ist, Evaluationen trennscharf von Managementtechniken (incl. Qualitätsmanagement, Controlling, Auditing) abzugrenzen. Dies scheitert auch an der Vagheit des Evaluationsbegriffs. Für jeden Abgrenzungsversuch lässt sich exemplarisch ein Evaluationsverfahren oder eine Managementtechnik benennen, die sich der Abgrenzung nicht fügt. Der Autor empfiehlt daher, Evaluation als einen Oberbegriff zu sehen, unter dessen Dach eine ganze Reihe sehr unterschiedlicher Techniken und Verfahren, Erhebungsdesigns und mehr oder weniger starke Verknüpfungen mit Konsequenzen versammelt sind. Je nachdem, welche Funktionen besonders betont werden, verschieben sich auf einem Kontinuum Nutzen und Wirkungen ebenso wie intendierte und nicht intendierte Effekte von Evaluationen. Diese Einwände stellen die Notwendigkeit von Evaluationen jedoch nicht in Frage. Strittig ist vielmehr die Häufigkeit von Evaluationen, die Angemessenheit der gewählten Verfahren und Indikatoren, ihre Steuerungswirkung und die Frage, wie sich die Ergebnisse in ein institutionelles Qualitätsmanagement integrieren lassen. Insgesamt zeichnet sich für den Autor deutlich ab, dass Evaluationen sparsam eingesetzt und sinnvoll in ein kontinuierliches Monitoring zentraler institutioneller Ziele integriert werden müssen. (ICA2)
Forschung und Beratung : das Zentrum für Evaluation und Methoden
Titelübersetzung:Research and counseling : the Center for Evaluation and Methods
Herausgeber/in:
Rudinger, Georg; Hörsch, Katharina; Krüger, Thomas
Quelle: Göttingen: V&R unipress (Applied research in psychology and evaluation, Vol. 3), 2009. 339 S.
Inhalt: "Das Zentrum für Evaluation und Methoden (ZEM) arbeitet als universitäre Einrichtung in einem energiereichen Kraftfeld aus Wissenschaft - Forschung und Lehre - und Dienstleistung - Auftragsforschung und Beratung. Seit der Gründung des ZEM 1999 wurden verschiedenste Projekte durchgeführt, bei denen die im ZEM gebündelten Kompetenzen in Forschung, Beratung und Durchführung von Umfragen zur Geltung gekommen sind. Als Schwerpunkte haben sich Evaluation und Qualitätssicherung, Umfragen und Statistik sowie Methodenentwicklung und -anwendung herausgebildet. Hier hat das ZEM langjährige Erfahrung, erworben und vertieft durch Kooperationen mit zahlreichen Partnern und Auftraggebern aus Wissenschaft und Wirtschaft. Anlässlich des zehnjährigen Bestehens des ZEM gibt der vorliegende Band Einblick in die breit gefächerten Projekte, die eine solide Basis für zukünftige Unternehmungen bilden und günstige Perspektiven eröffnen." (Autorenreferat). Inhaltsverzeichnis: Vorwort (9); Georg Rudinger: Das Zentrum für Evaluation und Methoden (11-21); Teil I. Evaluation und Qualitätssicherung im universitären Kontext: Georg Rudinger: Hochschulautonomie als Change Prozess: Der Weg zum umfassenden Qualitätsmanagement (25-37); Katharina Hörsch, Georg Rudinger: Qualitätssicherung von Lehre und Studium an Hochschulen: Von Evaluationsergebnissen zu Maßnahmen - aktuelle Entwicklungen an der Universität Bonn (39-47); René Costa: Das Bonner Modell der Hochschulevaluation: Erste Erfahrungen mit der Implementierung einer webbasierten Modul- und Lehrveranstaltungsevaluation (49-54); Eva Sindern, Sandra Pietrangeli: Validitätsforschung im Zuge der Entwicklung fachspezifischer Online Self-Assessments an der Rheinischen Friedrich-Wilhelms-Universität Bonn (55-66); Maximilian Ponert, Katharina Hörsch: Evaluation von Change Management am Beispiel der Bonner Universitätsverwaltung (67-74); Katharina Hörsch, Georg Rudinger: Der Net Promoter Score® an der Universität Bonn (75-88); Alexandra Borsch: Der Net Promoter Score (NPS) als diagnostisches Instrument zur Analyse der Loyalität interner Kunden (89-104); Teil II. Evaluation und Qualitätssicherung in verschiedenen Anwendungsfeldern: Kristina Heidemann: Perspektiven zur Evaluation von Entsendungsprozessen und Auslandseinsätzen - die Entwicklung eines längsschnittlichen Designs (107-125); Maximilian Ponert, Uwe Kleinemas: Wissenschaftliche Museumsevaluation: Ein Bericht erfolgreicher Kooperationen zwischen dem Zentrum für Evaluation und Methoden und Museen der Bonner Region (127-132); Georg Rudinger, Kieran Donaghy & Stefan Poppelreuter: Societal trends, mobility behaviour and sustainable transport in Europe and North America (133-151); Georg Rudinger, Kristina Kocherscheid: Verkehrssicherheitsperspektiven für eine in die Jahre kommende Gesellschaft (153-179); Kristina Kocherscheid: Konzeption und Evaluation einer ärztlichen Fortbildung zur Mobilitätsberatung älterer Kraftfahrer (181-191); Georg Rudinger, Anton Reiter: Zur Evaluation der theoretischen Fahrerlaubnisprüfung (193-203); Renate Soellner, Stefan Huber, Norbert Lenartz & Georg Rudinger: Gesundheitskompetenz (205-220); Teil III. Umfragen: Thomas Krüger, Georg Rudinger: Rektoren-Ranking: Rektor des Jahres 2009 (223-230); Thomas Krüger, Astrid Mayerböck: Der Net Promoter Score als Kennziffer zur Unternehmenssteuerung (231-240); Michael Paulus: Using NPS to play offense (241-246); Astrid Mayerböck: Bedarfsanalyse eines Gründerzentrums an der Universität Bonn (247-255); Uwe Feeser-Lichterfeld, Sandra Pietrangeli, Eva Sindern, Uwe Kleinemas, Michael Fuchs & Georg Rudinger: Lebensverlängerung und Verlangsamung des menschlichen Alterns (257-270); Teil IV. Methoden und Statistik: Norbert Hilger, Thomas Krüger: Zur Güte von Hörererhebungen in der Radioforschung (273-284); Georg Rudinger: Analyse von Daten aus Längsschnittstudien: Eine Einführung (285-296); Simon Riek, Thomas Krüger & Georg Rudinger: Befragungsmethodische Aspekte des IW-Zukunftspanels (297-315); Teil V. Perspektive: Heike Steckhan, Katrin Wahlers & Kristina Heidemann: Wege zur Professionalisierung: Masterstudiengang Evaluation (319-323).
CEWS Kategorie:Hochschulen, Wissenschaftspolitik, Statistik und statistische Daten
Dokumenttyp:Sammelwerk
Evaluation, Akkreditierung und Politik : zur Organisation von Qualitätssicherung im Zuge des Bolognaprozesses
Titelübersetzung:Evaluation, accreditation and policy : organization of quality assurance during the Bologna Process
Autor/in:
Serrano-Velarde, Kathia
Quelle: Wiesbaden: VS Verl. für Sozialwiss., 2008. 240 S.
Inhalt: "Evaluation, Akkreditierung und Politik analysiert die Entstehung einesdeutschen und europäischen Marktes der Qualitätssicherung für dieHochschullehre. Der so genannte Bolognaprozess verpflichtet die europäischen Mitgliedsstaaten, Anstrengungen vorzunehmen, um das Hochschulstudium vergleichbarer zu machen und teilweise sogar zu vereinheitlichen. Ein wichtiger Schritt in diese Richtung bildet die Einführungvon Bachelor- und Masterstudiengängen, die von nationalen Evaluations- und Akkreditierungsagenturen auf ihre Qualität geprüft und zertifiziertwerden müssen. Im Fokus der Untersuchung steht ein Strukturbildungsprozess, der die Gründung deutscher Evaluations- und Akkreditierungsagenturen als Teil einer nationalen Reform der Hochschulsteuerungmotivierte. Dieser Strukturbildungsprozess hatte weit reichende Implikationen für die deutsche und europäische Hochschulpolitik, die in derStudie qualitativ und quantitativ ergründet werden." (Autorenreferat)<BR>
Qualitätsentwicklung von Forschung durch Evaluation : Institutionen und Verfahren
Titelübersetzung:Development of the quality of research through evaluation : institutes and procedures
Autor/in:
Schophaus, Malte
Quelle: Sozialwissenschaften und Berufspraxis, Jg. 31 (2008) H. 1, S. 79-93
Inhalt: Der Beitrag liefert einen Überblick über Funktion und Verfahren von Forschungsevaluationen sowie ihrer Institutionen in Deutschland. Die Darstellung der Forschungsevaluation beschränkt sich weitgehend auf Verfahren und Institutionen des Informed Peer Review, ergänzt durch Indikatoren zur Erstellung von Forschungsindikatoren. So werden im ersten Schritt zunächst die gängigen Indikatoren der Forschungsqualität kurz dargestellt. Im zweiten Schritt werden anschließend die wichtigsten Institutionen (Wissenschaftsrat, Wissenschaftliche Kommission Niedersachsen, Zentrum für Evaluation und Methoden -ZEM - an der Universität Bonn), die Forschungsevaluationen in Deutschland durchführen, benannt und kategorisiert. Sodann wird das grundlegende Verfahren der auf Peer Review basierenden Forschungsevaluationen beschrieben und unterschiedliche Ausprägungen dargestellt. Im vierten Schritt werden schließlich Aspekte der Akzeptanz von Forschungsevaluationen identifiziert. Abschließend wird ein Ausblick auf die Entwicklung von Forschungsevaluation gegeben, der ein informations- und kontrollorientiertes Verständnis von Forschungsevaluation einem entwicklungsorientierten Verständnis gegenüberstellt. (ICG2)
Evaluation und Qualitätssicherung von Forschung und Lehre im Bologna-Prozess
Titelübersetzung:Evaluation and quality assurance of research and teaching in the Bologna Process
Herausgeber/in:
Rudinger, Georg; Krahn, Britta; Rietz, Christian
Quelle: Göttingen: V&R unipress (Applied research in psychology and evaluation, Bd. 1), 2008. 222 S.
Inhalt: "Evaluation nimmt inzwischen auch an Hochschulen eine zentrale Position ein. In diesem Kontext stehen die Themenfelder Evaluation in den neuen Bachelor- und Masterstudiengängen, ressourcenschonende Durchführung von Evaluationen, Verwendung der 'richtigen' Kennziffern, europäische Lösungen, aber auch Best Practice-Beispiele für gelungene Implementationen im Vordergrund. Die Bonner Evaluationstagungen bieten ein Forum zum Austausch über diese Themen. Der vorliegende Tagungsband mit ausgewählten Vorträgen der Tagung 2006 illustriert die Breite und Differenziertheit der Auseinandersetzung mit diesem Thema und gibt Theoretikern wie Praktikern zugleich zahlreiche Anregungen und verlässliche Informationen für die weitergehende Beschäftigung mit Evaluation und Qualitätssicherung." (Autorenreferat). Inhaltsverzeichnis: Britta Krahn, Christian Rietz, Georg Rudinger: Anforderungen an Verfahren für Qualitätssicherung und Evaluation von Forschung und Lehre im Bologna-Prozess (9-14); Eva Barlösius: Evaluieren - eine wissenschaftspolitische Tätigkeit? Eine essayistische Annäherung (15-30); Thomas Grünewald: Evaluation und Qualitätssicherung von Forschung und Lehre im Bologna-Prozess (31-44); Matthias Herfurth: Leistungsindikatoren als Instrument der Hochschulentwicklung (45-58); Stefan Hornbostel: Bologna und die Forschung (59-76); Mathias Winde: Sieben Anforderungen an ein Qualitätsmanagement der Zukunft - ein neues Förderprogramm des Stifterverbands (77-84); Mathias Pätzold, Malte Schophaus: Qualitätssicherung von Forschung im Bologna-Prozess: Das Beispiel Niedersachsen (85-96); Thomas Köcher: Prozessqualität für Lehre und Studium - das Modellprojekt an der Universität Bremen (97-104); Anja von Richthofen: Qualitätsentwicklung an der Hochschule Niederrhein auf Basis eines zentralen Evaluationsverfahrens (105-118); Michael Jaeger, Judith Grützmacher: Begleitende Evaluation der Einführung von Bachelor- und Masterstudiengängen: Methodische Ansätze und empirische Ergebnisse (119-130); Christoph Markert, Antje Gornig: Modulevaluation an der Universität Leipzig - Konzepte und Erfahrungen- Eine Anwenderperspektive (131-142); Alexa Köhler-Offierski: Lehrevaluation an der Evangelischen Fachhochschule Darmstadt (EFHD) (143-146); Michael Endemann: Qualitätssicherung und Online-Evaluation im Verbundstudium der nordrhein-westfälischen Fachhochschulen (147-162); Volkhard Fischer: Ebenen der Evaluation eines modularisierten Studienganges (163-176); Christian Rietz, Britta Krahn, Georg Rudinger: Möglichkeiten und Perspektiven onlinegestützter Verfahren für nachhaltige Qualitätssicherung und Evaluation in Bachelor-/ Masterstudiengängen am Beispiel des Bonner Modells der Hochschulevaluation (177-194).
Quelle: Merkur : deutsche Zeitschrift für europäisches Denken, Jg. 62 (2008) H. 4, S. 346-349
Inhalt: Vom Konzern Thomson Scientific wird unter der Handelsmarke "Web of Science" ein Programm angeboten, das verspricht, dass alle Interessierten mit wenigen Mausklicks nicht nur feststellen können, wer was wo veröffentlicht hat, sondern auch, wer wen wie oft zitiert, so dass man aus der Häufigkeitsverteilung der Zitationen auf das Gewicht von Themen und Autoren schließen kann. Das Programm nutzen Wissenschaftsverwaltungen, um die Relevanz von Forschern und Forschungen sowie die relevanzgemäße Finanzierung derselben an der Zitationsfrequenz im "Web of Science" festmachen. Der Essay kritisiert dieses "Wissenschaftsranking" scharf, das Politikern, die keine Ruhe zum Lesen, keine Muße zum Reflektieren und keine Zeit zum Argumentieren haben, das "große Glück" verschafft, die von ihnen erwartete bedarfs- und qualitätsgerechte Mittelverteilung über einige einfache Zahlen ins Werk setzen zu können. Kritisiert wird die Übertragung der Idee des Rekords vom Sport und des Marktes (Wettbewerb) auf die Wissenschaft. Die Kehrseite der Sache ist bekannt. Sie heißt im Sport Doping und in der Wissenschaft Drittmittelfinanzierung, also das gezielte Einbringen fremder Interessen, die durch künstliche Leistungserhöhung eine Verbesserung der ökonomischen Verwertbarkeit der erzielten Resultate erwarten. Und zwar im allgemeinen dadurch, "dass man der ahnungslosen Öffentlichkeit weismacht, dass wahlweise die Größten, Schnellsten, Schönsten oder Klügsten auch die Besten sind". (ICA2)
Aus Mangel an Beweisen : 'exzellente' Kriterien in der Wissenschaft? ; das Peer Review als Konsensmaschine
Titelübersetzung:Due to lack of evidence : 'excellent' criteria in science?; the peer review as a consensus machine
Autor/in:
Simon, Dagmar; Knie, Andreas
Quelle: Gegenworte : Hefte für den Disput über Wissen, (2007) H. 17, S. 27-29
Inhalt: Die Verfasser stellen fest, dass das disziplinübergreifende, objektiv Messbare durch den Konsens der Experten ersetzt wird. Das Urteil der Fachkollegen ist die Basis für die Bewertung wissenschaftlicher Leistung. Sie kommen zum Schluss, dass das Problem der Exzellenz-Initiative darin liegt, dass man Regeln der Begutachtung durch die Fachkollegen als einzigen Maßstab der Qualitätssicherung für bare Münze gehalten und den gesamten Subtext zu wenig beachtet hat. Wenn man primär auf Verfahren anstatt auf Inhalte zur Bewertung der Wissenschaft setzt, dann ist eine Forschung nur dann auch exzellent, wenn die Forschungspraxis kontextbezogen reflektiert wird und die Bewertung in einem angemessenen Gesamtrahmen erfolgt. Exzellenz 'an sich' kann es in diesem Sinne nicht geben. (ICG2)