Vorsicht: Forscher sagen, die meisten wissenschaftlichen Studien seien falsch

Prüfer vor Ort diskutieren ihre Ergebnisse während der 2009-Konferenz zu internationalen wissenschaftlichen Studien in der Wiener Hofburg. Wikimedia Commons
Bitte teilen Sie diese Geschichte!
Der krasse Irrtum in der Technokratie ist, dass die Daten verbogen sind, um ihre Theorien zu rechtfertigen. Dies setzte sich ein, als frühe Technokraten erkannten, dass ihre "Science of Social Engineering" nicht mit legitimen Daten gestützt werden konnte. Die heutigen Nachrichten spielen sich wie das Kinderspiel "Simon Says" ab, werden jedoch durch "Science Says" ersetzt. ⁃ TN Editor

Vor einigen Jahren haben zwei Forscher die am häufigsten verwendeten 50-Inhaltsstoffe in ein Kochbuch aufgenommen und anhand verschiedener in wissenschaftlichen Fachzeitschriften veröffentlichter Studien untersucht, wie viele davon mit einem Krebsrisiko oder -nutzen in Verbindung gebracht wurden.

Das Ergebnis? Vierzig von 50, einschließlich Salz, Mehl, Petersilie und Zucker. "Ist alles, was wir essen, mit Krebs verbunden?" Die Forscher wunderten sich in einem Artikel aus dem Jahr 2013 über ihre Ergebnisse.

Ihre Untersuchung berührte ein bekanntes, aber anhaltendes Problem in der Forschungswelt: Zu wenige Studien haben genügend Stichproben, um allgemeine Schlussfolgerungen zu stützen.

Der Druck auf die Forscher, der Wettbewerb zwischen Zeitschriften und der unstillbare Appetit der Medien auf neue Studien, die revolutionäre Durchbrüche ankündigen, haben dazu geführt, dass solche Artikel weiterhin veröffentlicht werden.

"Die meisten Artikel, die selbst in seriösen Fachzeitschriften veröffentlicht werden, sind ziemlich schlampig", sagte John Ioannidis, Professor für Medizin an der Stanford University, der sich auf das Studium wissenschaftlicher Studien spezialisiert hat.

Dieser vereidigte Feind schlechter Forschung veröffentlichte 2005 einen viel zitierten Artikel mit dem Titel: „Warum die meisten veröffentlichten Forschungsergebnisse falsch sind.“

Seitdem seien nur begrenzte Fortschritte zu verzeichnen.

Einige Zeitschriften bestehen nun darauf, dass Autoren ihr Forschungsprotokoll vorab registrieren und ihre Rohdaten bereitstellen, was es Forschern erschwert, die Ergebnisse zu manipulieren, um zu einer bestimmten Schlussfolgerung zu gelangen. Es ermöglicht auch anderen, ihre Studien zu verifizieren oder zu wiederholen.

Denn wenn Studien wiederholt werden, kommen sie selten zu den gleichen Ergebnissen. Nur ein Drittel der in drei Top-Psychologie-Fachzeitschriften veröffentlichten 100-Studien konnte in einem großen 2015-Test erfolgreich repliziert werden.

Medizin, Epidemiologie, Bevölkerungswissenschaft und Ernährungsstudien schneiden nicht besser ab, sagte Ioannidis, als Versuche unternommen werden, sie zu replizieren.

"In der gesamten biomedizinischen Wissenschaft und darüber hinaus werden Wissenschaftler nicht ausreichend in Statistik und Methodik geschult", sagte Ioannidis.

Zu viele Studien stützen sich nur auf wenige Einzelpersonen, was es schwierig macht, umfassendere Schlussfolgerungen zu ziehen, da die Stichproben so wenig Hoffnung auf Repräsentativität haben.

"Die Ernährung ist einer der schrecklichsten Bereiche der biomedizinischen Forschung", fügte Professor Ioannidis hinzu - und das nicht nur aufgrund von Interessenkonflikten mit verschiedenen Lebensmittelindustrien.

"Die Messung der Ernährung ist äußerst schwierig", betonte er. Wie können wir genau quantifizieren, was Menschen essen?

In diesem Bereich suchen die Forscher häufig wild nach Korrelationen in riesigen Datenbanken, ohne auch nur eine Starthypothese.

Selbst wenn die Methodik gut ist und der Goldstandard eine Studie ist, bei der die Teilnehmer nach dem Zufallsprinzip ausgewählt werden, kann die Ausführung unzureichend sein.

Eine berühmte 2013-Studie zu den Vorteilen der Mittelmeerdiät gegen Herzkrankheiten musste im Juni von der renommiertesten medizinischen Zeitschrift, dem New England Journal of Medicine, zurückgezogen werden, da nicht alle Teilnehmer nach dem Zufallsprinzip ausgewählt wurden. Die Ergebnisse wurden nach unten korrigiert.

Was sollten wir also von der Flut der täglich veröffentlichten Studien mitnehmen?

Ioannidis empfiehlt, die folgenden Fragen zu stellen: Wurde dies nur einmal oder in mehreren Studien beobachtet? Ist es eine kleine oder eine große Studie? Ist das ein randomisiertes Experiment? Wer hat es finanziert? Sind die Forscher transparent?

Diese Vorsichtsmaßnahmen sind in der Medizin von grundlegender Bedeutung, wo schlechte Studien zur Einführung von Behandlungen beigetragen haben, die bestenfalls unwirksam und im schlimmsten Fall schädlich sind.

In ihrem Buch „Ending Medical Reversal“ bieten Vinayak Prasad und Adam Cifu erschreckende Beispiele für Praktiken, die auf der Grundlage von Studien angewendet wurden, die später ungültig wurden, beispielsweise das Öffnen einer Hirnarterie mit Stents, um das Risiko eines neuen Schlaganfalls zu verringern.

Erst nach 10-Jahren zeigte eine robuste, randomisierte Studie, dass die Praxis das Schlaganfallrisiko tatsächlich erhöhte.

Die Lösung liegt in der kollektiven Verschärfung der Standards durch alle Akteure in der Forschungswelt, nicht nur Zeitschriften, sondern auch Universitäten und öffentliche Förderorganisationen. Diese Institutionen sind jedoch alle in einem Wettbewerbsumfeld tätig.

Lesen Sie die ganze Geschichte hier…

Abonnieren
Benachrichtigung von
Gast
0 Kommentare
Inline-Feedbacks
Alle Kommentare anzeigen