Bewertung der Rolle negativer Zitate in der Wissenschaft | 2020

Inhaltsverzeichnis:

Anonim

Diese negativen Zitate können auf Einschränkungen, Inkonsistenzen oder Mängel in früheren Arbeiten hinweisen. Die Studie ergab, dass diese negativen Zitate mit größerer Wahrscheinlichkeit hochgelesene Veröffentlichungen kritisieren und dass sich die Kritik auf bestimmte Abschnitte der Veröffentlichungen konzentriert. Negative Zitate stammten in der Regel von Wissenschaftlern, die den Autoren der Originalartikel in akademischer Disziplin und sozialer Distanz nahestanden - geografisch jedoch mindestens 250 Kilometer entfernt.

Die Forschung von Autoren des Georgia Institute of Technology, der University of Toronto und des Massachusetts Institute of Technology könnte die erste sein, die diese negativen Zitate systematisch quantifiziert und untersucht. Die Autoren hoffen, ihre Studie auf andere Disziplinen ausweiten zu können, und glauben, dass ihre Arbeit letztendlich zu einer erneuten Überprüfung der Verwendung von Zitaten in der Wissenschaft führen könnte.

"Angesichts der Tatsache, dass wir uns so stark auf diese Zitationskennzahlen als Qualitätsmaßstäbe stützen, ist zu beachten, dass die Absicht dieser Zitate nicht homogen ist", sagte Alexander Oettl, Assistenzprofessor am Scheller College of Business von Georgia Tech drei Mitautoren der Studie. "Kritik ist wirklich der Eckpfeiler des wissenschaftlichen Unternehmens, aber es ist schwierig, genaue Maße dafür zu erhalten, inwieweit Kritik an akademischen Arbeiten tatsächlich vorkommt. Die negativen Zitate unterscheiden sich wirklich von den objektiven Zitaten."

Die Forscher, zu denen auch Nicola Lacetera von der University of Toronto und Christian Catalini vom MIT gehören, begannen mit 15.731 Volltextartikeln, die im Journal of Immunology, der führenden wissenschaftlichen Zeitschrift auf diesem Gebiet, veröffentlicht worden waren. Aus diesen Artikeln extrahierten sie 762.355 Zitate, die sich auf 146.891 einzelne veröffentlichte Artikel bezogen.

Ausgehend von einem manuellen Prozess erstellten sie eine Reihe von Zitaten, mit denen ein Programm zur Verarbeitung natürlicher Sprachen trainiert wurde, mit dem der Rest der Zitaten als objektiv oder negativ eingestuft wurde. Der Prozess identifizierte 18.304 negative Zitate, etwa 2,4 Prozent der insgesamt untersuchten Zitate.

"Die Mehrheit dieser negativen Zitate scheint mit den Abschnitten 'Ergebnisse' und 'Diskussion' der Papiere in Konflikt zu geraten, so dass sie wirklich nicht versuchen, die Theorie zu stürzen", sagte Oettl. "Sie können versuchen, die Ergebnisse einzuschränken, Unstimmigkeiten mit anderen Forschungsergebnissen festzustellen, auf statistische Mängel hinzuweisen oder andere Probleme zu beheben."

In ihrer Studie weisen die Autoren auf die relative Seltenheit dieser negativen Zitate hin und spekulieren, dass sie entweder eine "begrenzte, nicht einflussreiche Rolle" für die Kritik in der Wissenschaft nachweisen könnten - oder zögern, Kritik zu üben.

"Diese negativen Zitate sind nicht umsonst", bemerkte Oettl. "Diese negativen Zitate können zu Reputationsschäden führen. Sollte sich herausstellen, dass Ihre Kritik falsch ist, könnte dies Ihren Ruf auf dem Gebiet erheblich beeinträchtigen. Ohne diese Kosten könnten möglicherweise offenere Kritik in den Fachzeitschriften erscheinen."

Die Forscher stellten fest, dass negative Zitate eher von Wissenschaftlern stammen, die dem engen akademischen Bereich nahe stehen, die Kritik jedoch eher die geografische Entfernung betrifft.

"Wir sehen, dass die Wahrscheinlichkeit einer negativen Zitierung sehr viel geringer ist, wenn Sie mit dem Wissenschaftler zusammenarbeiten, dessen Arbeit kritisiert wird", sagte Oettl. "Das spricht möglicherweise für die soziale Komponente, die sozialen Kosten der Kritik - Sie möchten nicht jemanden kritisieren, dem Sie auf dem Campus begegnen könnten. Eine andere mögliche Interpretation ist, dass diese Themen unter Wissenschaftlern, die es sind, von Angesicht zu Angesicht diskutiert werden." geografisch nahe beieinander gelegen. "

In der Studie waren häufig zitierte Artikel wahrscheinlicher als weniger gelesene Artikel, negative Zitate zu erhalten, was naheliegend ist, sagte Oettl. "Dies sind in der Regel einflussreichere Artikel, was eher damit zu tun hat, dass mehr Menschen sie lesen, und dass Wissenschaftler eher dazu angeregt werden, sich mit wichtigen Artikeln auseinanderzusetzen", erklärte er. "Darüber hinaus werden weniger wichtige Veröffentlichungen möglicherweise weniger genau geprüft, da die Feststellung von Einschränkungen und Mängeln bei geringfügiger Arbeit die wissenschaftlichen Grenzen nicht drastisch verändern wird."

Die Wiederholung früherer Arbeiten trägt dazu bei, die Genauigkeit der Forschung zu gewährleisten, und die Kritik an veröffentlichten Studien kann zu Korrekturen führen, die die Wissenschaft robuster machen. Aber regt das derzeitige wissenschaftliche Publikationssystem genug zur Diskussion an?

"Die pessimistische Ansicht ist, dass nur eine von 50 Zitaten von Natur aus negativ ist, daher gibt es möglicherweise nicht so viele Diskussionen, wie wir uns für eine gesunde Diskussion wünschen", sagte Oettl. "Auf der anderen Seite hat ein bedeutendes Manuskript, als es gedruckt wurde, eine enorme Kritik erfahren. Wir haben jetzt einige Beweise dafür, inwieweit Kritik in Form von negativen Zitaten in wissenschaftlichen Manuskripten vorkommt . "

Die Forscher entschieden sich für Immunologie, weil sie Zugang zu den Papieren hatten, die im Format konsistent waren. Sie fanden eine ähnliche Anzahl negativer Zitate in einer kleinen Reihe von mathematikbezogenen Arbeiten, hoffen jedoch, ihre Arbeit ausweiten zu können, um festzustellen, ob ihre Ergebnisse auf andere Disziplinen zutreffen. Letztendlich hoffen sie, dass die Arbeit die Art und Weise verändern könnte, wie Zitate in der Wissenschaft verwendet werden.

"Wir wollten eine Methode vorschlagen, mit der zukünftige Wissenschaftler überlegen können, wie wir diese Klassifizierungsinfrastruktur möglicherweise erweitern und zusätzliche Metadaten für die von uns angeführten Zitate gewinnen können", sagte Oettl. "Unsere Arbeit ist sehr beschreibend, zeigt jedoch etwas auf, was bisher noch niemand bewiesen hat: dass sich diese negativen Zitate ganz anders verhalten als andere."

Obwohl sich die aktuelle Studie auf eine einzige Disziplin, die Immunologie, konzentrierte, "würden wir es sehr begrüßen, wenn diese Arbeit und Methodik auf andere Disziplinen ausgeweitet würden", sagte Oettl. "Letztendlich interessiert uns jedoch, welche Rolle diese negativen Zitate bei der Unterstützung der wissenschaftlichen Debatte und der Weiterentwicklung der wissenschaftlichen Grenzen spielen."