In der Wissenschaft herrscht bezüglich der Auswahl von Forschungsprojekten und Publikationen eine "Evaluitis", die wenig zum wissenschaftlichen Fortschritt beiträgt. Dieser Beitrag macht einen Vorschlag, wie mit der Verbindung von Experten-Urteilen und Zufall die Auswahl verbessert werden könnte. Gutachten der "scientific community" sind die Basis der wissenschaftlichen Qualitätsbeurteilung. Leider funktioniert dies aber nur mangelhaft. Erstens gibt es eine geringe Übereinstimmung von Gutachterurteilen (Nicolai, Schmal & Schuster 2015). Zweitens ist die prognostische Qualität von Gutachten gering. Die Einschätzungen der Gutachter korrelieren nur mit 0.25 bis 0.37 mit späteren Zitationen (Starbuck 2006). Drittens ist die zeitliche Konsistenz von Gutachterurteilen niedrig. Viele von sog. A-Journals zurückgewiesene Artikel wurden später berühmt und haben Preise gewonnen, inklusive des Nobel-Preises (Siler, Lee & Bero 2015). Viertens erstellen beim doppelt-blinden Verfahren anonyme Gutachtende oft wenig hilfreiche Berichte. Vielmehr werden die Autoren erheblich unter Druck gesetzt. Das Ergebnis ist "Publishing as Prostitution" (Frey 2003). Trotz dieser Mängel sind Gutachten unverzichtbar, weil in der Wissenschaft Märkte nur bedingt funktionieren.
Topics:
Bruno S. Frey, Margit Osterloh considers the following as important:
This could be interesting, too:
Cash - "Aktuell" | News writes Länder einigen sich bei Weltklima-Konferenz auf globalen Emissionshandel
Cash - "Aktuell" | News writes Selenskyj glaubt an mögliches Kriegsende 2025
Cash - "Aktuell" | News writes Was Schweizer Bäuerinnen und Bauern verdienen
Cash - "Aktuell" | News writes Schweizer Efta/EU-Delegation will Abkommen mit China optimieren
In der Wissenschaft herrscht bezüglich der Auswahl von Forschungsprojekten und Publikationen eine "Evaluitis", die wenig zum wissenschaftlichen Fortschritt beiträgt. Dieser Beitrag macht einen Vorschlag, wie mit der Verbindung von Experten-Urteilen und Zufall die Auswahl verbessert werden könnte.
Gutachten der "scientific community" sind die Basis der wissenschaftlichen Qualitätsbeurteilung. Leider funktioniert dies aber nur mangelhaft.
Erstens gibt es eine geringe Übereinstimmung von Gutachterurteilen (Nicolai, Schmal & Schuster 2015).
Zweitens ist die prognostische Qualität von Gutachten gering. Die Einschätzungen der Gutachter korrelieren nur mit 0.25 bis 0.37 mit späteren Zitationen (Starbuck 2006).
Drittens ist die zeitliche Konsistenz von Gutachterurteilen niedrig. Viele von sog. A-Journals zurückgewiesene Artikel wurden später berühmt und haben Preise gewonnen, inklusive des Nobel-Preises (Siler, Lee & Bero 2015).
Viertens erstellen beim doppelt-blinden Verfahren anonyme Gutachtende oft wenig hilfreiche Berichte. Vielmehr werden die Autoren erheblich unter Druck gesetzt. Das Ergebnis ist "Publishing as Prostitution" (Frey 2003).
Trotz dieser Mängel sind Gutachten unverzichtbar, weil in der Wissenschaft Märkte nur bedingt funktionieren. Gutachten kommen bei Stellenbesetzungen, bei der Vergabe von Forschungsmitteln, bei Veröffentlichungen und bei der Evaluation ganzer Forschungseinrichtungen zum Einsatz. Jedoch hat sich das Gutachterwesen zu einer "Evaluitis" entwickelt. Wie kann man angesichts der geschilderten Probleme damit umgehen?
Wir schlagen zwei Verfahren vor. Erstens, soll die "Evaluitis" abgebaut werden. Zweitens soll die wissenschaftliche Vielfalt verstärkt werden. Damit werden Risiken diversifiziert und die Chancen für innovative Ideen erhöht.
Gezielte Einschränkung der Qualitätsbeurteilung
Der erste Vorschlag vermindert die Anlässe für Evaluationen auf wenige karriererelevante Entscheidungen, z.B. bei der Bewerbung um eine Stelle oder bei der Beantragung von Forschungsmitteln. Eine sorgfältige Eingangskontrolle ersetzt dauernde Evaluationen (Osterloh & Frey 2015). Sie hat die Aufgabe, das Innovationspotential, die Motivation für selbstorganisiertes Arbeiten und die Identifikation mit dem "taste of science" (Merton 1973) zu überprüfen. Gleichzeitig gibt es – zumindest im deutschsprachigen Wissenschaftssystem – eine große Vielfalt an Universitäten und anderen wissenschaftlichen Institutionen mit unterschiedlicher Ausrichtung. Wer hierfür das "Eintrittsticket" aufgrund einer rigorosen Prüfung erworben hat, sollte weitgehende Autonomie einschließlich einer angemessenen Grundausstattung erhalten. Eine solche Eingangs-Kontrolle ist keineswegs neu; sie wird z.B. an der Harvard-Universität praktiziert.
Partielle Zufallsauswahl von Personen oder Forschungsprogrammen
Unbeabsichtigter Zufall bestimmt heute schon wesentliche Teile der Wissenschaft, z.B. bei der Auswahl von Zeitschriften-Artikeln (Siler, Lee & Bero 2015; Bornmann & Daniel 2009) und der Vergabe von Forschungsmitteln (Ioannidis 2011), jedoch nicht gezielt und kontrolliert.
In absichtlicher und kontrollierter Form hat Zufall in der Geschichte eine beachtliche Rolle gespielt (Buchstein 2009). Im klassischen Athen und im mittelalterlichen Venedig wurden politische Positionen in einem gemischten Verfahren aus Zufall und gezielter Auswahl besetzt. An der Universität Basel wurden im 18. Jahrhundert Lehrstühle per Zufallsauswahl aus einer Liste von drei Kandidaten ausgewählt. "Zufall" wird hier im Sinne einer statistischen Wahrscheinlichkeit verwendet. Es hat somit nichts mit Willkür zu tun, sondern im Gegenteil mit einer strengen mathematischen Gesetzmässigkeit.
Wie alle Entscheidungsverfahren haben Zufallsprozeduren Vor- und Nachteile (Zeitoun, Osterloh und Frey 2014.). Die wichtigsten Vorteile sind die folgenden:
Erstens schützen Zufallsentscheidungen vor Favoritismus und "old boys networks". Es lohnt sich nicht, in Lobbying, Bestechung oder andere Einflussversuche zu investieren, wenn zufällig entschieden wird. Damit werden auch die Kosten für eine Kandidatur, z.B. für (Selbst-)Marketing obsolet, was zu einem größeren Kandidaten-Pool führt.
Zweitens werden Kandidierende ermutigt, die sonst nicht in Betracht gezogen, übersehen oder marginalisiert würden. Zufallsauswahl erlaubt neue Talente aufzuspüren.
Drittens fördert Zufall neue Perspektiven zutage, die im herkömmlichen Betrieb wenige Chancen haben. Häufig beflügeln Ideen "von aussen" die Kreativität dank einer nützlichen Ignoranz des "herrschenden Wissens". Dies zeigen empirische Befunde zur Innovationsforschung (Jeppesen & Lakhani, 2010).
Viertens verlieren bei der Zufallsauswahl die Verlierer der Wahl nicht das Gesicht und ihr Selbstwertgefühl, wie das bei normalen Auswahlprozessen oft der Fall ist. Dies führt ebenfalls zu einer Vergrößerung des Kandidierenden-Pools.
Fünftens bewirkt Zufall, dass die Grundgesamtheit repräsentiert wird. Damit kommen auch Personenkreise zum Zuge, die sonst leicht übersehen werden. Im Gegensatz zu Quoten müssen die Dimensionen (etwa Geschlecht, Alter, Nationalität) nicht zum vorneherein festgelegt werden. Bisher vernachlässigte Perspektiven finden Gehör.
Diesen Vorteilen stehen auch Nachteile gegenüber. Der erste und wichtigste Nachteil besteht darin, dass nicht zwischen guter und schlechter Qualität unterschieden wird. Aus diesem Grund gibt es selten reine Zufallsverfahren, sondern diese werden fast immer mit einer Vor-Auswahl nach herkömmlichen Kriterien kombiniert.
Ein zweiter Nachteil besteht darin, dass Zufallsauswahl manchmal als irrational angesehen wird. Allerdings sind intendiert rationale Entscheidungsprozesse oft genug faktisch irrational. Die Auswahl von Journal-Artikeln oder die Zuweisung von Forschungsmitteln grenzt oft an Zufall (Rothwell & Martyn, 2000; Graves, Barnett & Clarke, 2011). Auch hat sich gezeigt, dass die Preisverleihung bei Musik-Wettbewerben (Ginsburgh & Weyers, 2014) faktisch zufällig ist. Die Rationalität von Auswahl- und Entscheidungsprozessen ist oft nur Fassade (Kahnemann, 2011). Eine an mathematischen Wahrscheinlichkeiten ausgerichtete Zufallsauswahl ist im Vergleich dazu weitaus rationaler.
Die partielle Anwendung von Zufallsverfahren in der Wissenschaft wird dadurch erleichtert, daß gemäß empirischen Befunden Gutachterurteile verlässlicher sind, soweit es sich um negative Entscheidungen handelt (Siler, Lee & Bero, 2015). Man kann deshalb mittels Gutachten eine Vorauswahl treffen, welche Kandidierenden oder Anträge auf Forschungsmittel nicht in Frage kommen. Genauso kann man in den (meist selteneren) Fällen verfahren, in denen unter allen Gutachtenden Übereinstimmung im positiven Sinne herrscht. Bei den (vermutlich überwiegenden) Fällen, in denen Dissens herrscht, könnte dann eine Zufalls-Auswahl erfolgen. Nicht selten wird es sich dabei um neuartige und ungewöhnliche Personen oder Beiträge handeln, die ansonsten wenige Chancen haben, sich im etablierten Wissenschaftsbetrieb durchzusetzen.
Dieser Vorschlag findet vermutlich für die Förderung von Forschungsprojekten leichter Akzeptanz als für die Auswahl von Personen oder von Veröffentlichungen. Die Verbindung von Experten-Urteilen und Zufall könnte deshalb experimentell für einen Teil der Forschungsmittel angewendet werden. Nach einigen Jahren ließe sich empirisch ermitteln, ob die (partiell) zufällig ausgewählten Forschungsprojekte den wissenschaftlichen Diskurs besser oder schlechter befruchtet haben als die nach konventionellen Verfahren ausgewählten.
Gegen die vorgeschlagenen Verfahren werden diejenigen Protest anmelden, welche mit Hilfe des gegenwärtigen Systems Einfluss errungen haben. Auch werden Übergangs-Probleme auftreten. Aber die Probleme des heutigen wissenschaftlichen Qualitätsbeurteilungs-Systems sind so riesig, dass dringend Alternativen aufgezeigt, ernsthaft diskutiert und ausprobiert werden sollten.
Bornmann, L. & Daniel, H. D. (2009). The luck of the referee draw: The effect of exchanging reviews. Learned Publishing, vol. 22(2): pp. 117–25.
Buchstein, H. (2009). Demokratie und Lotterie: Das Los als politisches Entscheidungsinstrument von der Antike bis zur EU. Campus Verlag.
Frey, B. S. (2003). Publishing as prostitution? – Choosing between one’s own ideas and academic success. Public Choice 116: 205–223.
Ginsburgh, V. & Weyers, S. (2014). Nominees, winners, and losers. Journal of Cultural Economics, 38: 291-313.
Graves, N., Barnett, A. G. & Clarke, P. (2011). Cutting random funding decisions. Nature (469): 299.
Ioannidis, J. P. A. (2011). More time for research: Fund people not projects. Nature (477): 529-531.
Jeppesen, L. B. & Lakhani, K. R. (2010). Marginality and problem-solving effectiveness in broadcast search. Organization Science, 21(5): 1016-1033.
Kahnemann, D. (2011). Schnelles Denken, langsames Denken. München: Siedler.
Merton, R. K. (1973). The sociology of science: Theoretical and empirical investigation, Chicago, IL: University of Chicago Press.
Nicolai, A.T., Schmal, S. & Schuster, Ch. (2015). Interrater Reliability of the Peer Review Process in Management Journals. In: I. Welpe, J. Wollersheim, S. Ringelhan & M. Osterloh (Hrsg.), Incentives and Performance - Governance of Research Organization. Heidelberg: Springer: 107-120.
Osterloh, M. & Frey B.S. (2015). Ranking Games und wie man sie überwinden kann. Zeitschrift für Kulturwissenschaft 1: 65-80.
Rothwell, P. M. & Martyn, C. N. (2000). Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone? Brain, vol. 123: 1964–9.
Siler, K., Lee, K. & Bero, L. 2015. Measuring the effectiveness of scientific gatekeeping. Proceedings of National Academy of Science112: 360-365.
Starbuck, W.H. (2006). The production of knowledge. The challenge of social science research, Oxford: Oxford University Press.
Zeitoun, H., Osterloh, M., & Frey, B. 2014. Learning from Ancient Athens: Demarchy and corporate governance. Academy of Management Perspectives 28: 1–14.
©KOF ETH Zürich, 16. Dez. 2015