11 Gründe, Studienergebnisse kritisch zu betrachten

Wissenschaftliche Studien gelten als das wichtigste Entscheidungskriterium, wenn es um Leitlinien und Empfehlungen für oder gegen Medikamente oder andere medizinische Maßnahmen geht. So sinnvoll das in der Regel ist – es gibt gute Gründe, Studienergebnisse kritisch zu hinterfragen.

Fakt ist: Die moderne wissenschaftliche Forschung ist unsere einzige mögliche Quelle wirklich objektiver Information.

Erfahrungswerte sind zwar auch sehr wichtig, und für den Einzelnen nicht weniger wertvoll – aber es ist unmöglich, nur durch Erfahrung zu überprüfen, welche Wirkung ein Medikament im Durchschnitt voraussichtlich hat, welche Nebenwirkungen zu erwarten sind – und vor allem wie häufig.

Das Problem: Es gibt auch sehr viele Gründe, warum die Ergebnisse einer Studie missverständlich oder unsicher sein können.

In meinem ersten Beitrag zu wissenschaftlichen Studien habe ich davon geschrieben, warum es gerade für uns wichtig ist, die Aussagekraft von Studien besser einschätzen zu können.

In diesem Artikel erfährst du nun mehr darüber, welche Faktoren Studienergebnisse beeinflussen können und warum – und woran du verlässlichere Studien erkennen kannst.

11 Gründe, Studien kritisch zu betrachten

1) Gewinnorientierung
2) Probleme mit dem Prozess der Veröffentlichung
3) Erwartungshaltung der Forscher*innen
4) Ergebnisse können Zufall sein
5) Ergebnisse sind nie 100% „sicher“
6) Unterschiedliche Interpretation der Ergebnisse
7) Bedeutung des untersuchten Studienobjekts
8) Probleme mit Placebo und „Verblindung“
9) Weitere Probleme mit dem Studiendesign
10) Kein Mensch entspricht dem Durchschnitt
11) Unser Körper ist kompliziert

Kriterien für aussagekräftige Studien
Fazit

11 Gründe, Studien kritisch zu betrachten

1) Gewinnorientierung

Produkte sollen im allgemeinen möglichst bald und im großen Umfang Gewinne einbringen. Es geht weniger um Grundlagenforschung, sondern immer um direkte praktische und wirtschaftliche Anwendbarkeit. Das gilt insbesondere auch für alle medizinischen Produkte wie Medikamente und andere Anwendungen.

So werden nicht unbedingt neue Erkenntnisse das wichtigste Ziel, sondern der möglichst große finanzielle Nutzen der Ergebnisse. Die meisten medizinischen Studien werden von Herstellern durchgeführt oder zumindest die Forschung von ihnen mitfinanziert.

An sich wäre das nicht problematisch: Solange der Prozess transparent und fachlich korrekt verläuft sind die Ergebnisse trotzdem brauchbar. Leider ist das oft nicht der Fall.

Ein weiteres Problem ist, dass Medikamente und Verfahren, die wenig gewinnversprechend sind, auch auf weniger Forschungsinteresse stoßen.

Manchmal hat der Mangel an umfassenden, wissenschaftlichen Belegen für die Wirksamkeit einer Methode oder ein Mittel also auch damit zu tun, dass die Forschung daran sich finanziell weniger lohnt.

2) Probleme mit dem Prozess der Veröffentlichung

Auf den eigentlich sinnvollen Prozess der fachlichen Überprüfung eingereichter Studien vor der Veröffentlichung ist gerade im medizinischen Bereich wenig Verlass. Es hat sich gezeigt, dass teilweise auch minderwertige Studien von Fachzeitschriften angenommen werden und zu wenig kritisch nachgefragt wird.

Unglaublicherweise ist es im medizinischen Bereich zudem weit verbreitet, dass offizielle Autor*innen einer Studie sie kaum gelesen haben, geschweige denn am Forschungsprozess beteiligt waren.

Oft sind das Personen, mit denen eine gewisse Seriosität und Bekanntheit im entsprechenden Fachgebiet verbunden wird. Somit klingt auch die Studie seriöser und wird eher zitiert und veröffentlicht.

3) Erwartungshaltung der Forscher*innen

Dieser Punkt hängt eng mit Punkt 1) zusammen: Die Erwartungshaltung der Wissenschaftler*innen (oder deren Finanzierung) hat einen Einfluss auf auf die Ergebnisse. Auch völlig unbeabsichtigt kann es so zur Verfälschung kommen.

So können beim Umgang mit den Daten unbewusst oder bewusst Entscheidungen getroffen werden, die ein bestimmtes Ergebnis wahrscheinlicher machen. Zum Beispiel, indem bestimmte Daten (aus vermeintlich gutem Grund) aus der Endauswertung ausgeschlossen werden.

4) Ergebnisse können Zufall sein

Die Wahrscheinlichkeit, zufällig ein bestimmtes Ergebnis zu bekommen, erhöht sich mit der Anzahl an Studien. Wenn ich 20 oder mehr Studien zu einer Fragestellung mache, ist die Wahrscheinlichkeit sehr hoch, dass mindestens eine davon zufällig positiv ausfällt – obwohl nichts dahinter steckt.

Optimalerweise müsste man also alle Studien zu einer Fragestellung, die jemals durchgeführt wurden, und deren Ergebnis kennen um die Aussagekraft eines Studienergebnisses einschätzen zu können.

Studien, die nicht das gewünschte Ergebnis bringen, werden aber viel seltener veröffentlicht als erwünschte Ergebnisse. Dies erschwert die Einschätzung sehr.

5) Ergebnisse sind nie 100% „sicher“

Auch sogenannte „statistisch signifikante Ergebnisse“ sind nicht 100 % zuverlässig – sondern z. B. nur zu 95 %. Diese Fehlerwahrscheinlichkeit muss immer angegeben werden. Sie gilt auch nur, wenn alle anderen Fehler ausgeschlossen sind – also im optimalen Fall einer gewissenhaft durchgeführten Forschungsarbeit.

Theorien können auch bei vielen dafür sprechenden Studien nie zu 100% belegt werden: Die Ergebnisse der Forschung können das Zutreffen einer Annahme aber sehr wahrscheinlich machen. Es macht dann Sinn, sie als „wahr“ anzunehmen – solange du diese Einschränkung im Hinterkopf behältst.

6) Unterschiedliche Interpretation der Ergebnisse

Die selben Ergebnisse können unterschiedlich interpretiert werden. Wenn möglich, lohnt es sich daher, nicht nur zu lesen wie die Autor*innen einer Studie ihre Ergebnisse bewerten – sondern auch die Ergebnisse und Grafiken selbst anzuschauen.

Ein angeblich „bedeutsamer Effekt“ ist dann oft gar nicht so groß. Ein „signifikanter“ Effekt bedeutet einfach nur, dass es einen messbaren Unterschied gibt. Es sagt nichts darüber aus, ob dieser Unterschied überhaupt so deutlich ist, dass es jemand im echten Leben bemerken würde.

Bei einer Studie, die beispielsweise eine 25%-ige Verringerung des Herzinfarktrisikos durch ein neues Medikament verspricht, solltest du dir genau ansehen, was das in absoluten Prozentpunkten bedeutet. Liegt das Infarktrisiko in der untersuchten Gruppe bei 10 %, würde es durch das Mittel im Durchschnitt auf 7,5 % sinken. Gerade, wenn du mögliche schwere Nebenwirkungen berücksichtigst, sieht das nicht mehr unbedingt so vorteilhaft aus.

Ich habe auch schon Studien gelesen, bei denen ich anhand der Ergebnisse zu einem komplett gegenteiligen Schluss gelangt wäre.

Außerdem kann es sein, dass ein beobachteter Effekt einen ganz anderen Grund hat, als die Verfasser einer Studie vermuten.

7) Bedeutung des untersuchten Studienobjekts

Die meisten Untersuchungen werden nicht am Mensch, sondern an Zellkulturen oder einzelnen Zellbestandteilen („in vitro“) durchgeführt. Das macht Sinn, da kein lebender Organismus leiden muss. Es gibt dabei auch viel weniger Faktoren, die das Ergebnis beeinflussen können und macht es somit leichter, einzelne Prozesse zu verstehen.

Die Ergebnisse sind aber dadurch nur eingeschränkt auf den menschlichen Körper übertragbar. Ähnlich ist es bei Ergebnissen von Tierversuchen, die natürlich oft mehr Aussagekraft haben – aber nicht zwingend auch auf Menschen zutreffen müssen.

Aber auch wenn eine Untersuchung an menschlichen Probanden durchgeführt wurde, müssen die Ergebnisse nicht auf jede Bevölkerungsgruppe zutreffen. Meist werden für medizinische Tests junge, männliche, weiße Studenten angeworben. Solch eine einheitliche „Testgruppe“ erhöht die Wahrscheinlichkeit von statistisch haltbaren Ergebnissen – lässt aber gleichzeitig keine Rückschlüsse auf die gesamte Bevölkerung zu.

Wir wissen dann eigentlich nur, dass diese Ergebnisse mit einer bestimmten Wahrscheinlichkeit für junge weiße Männer gelten. Alter, ethnische Herkunft und Geschlecht sind aber ganz wichtige Faktoren wenn es um Wirksamkeit oder Schädlichkeit von Stoffen gilt.

8) Probleme mit Placebo und „Verblindung“

Die meisten haben schon vom Placebo-Effekt gehört, als positiver Effekt auf die Gesundheit durch ein eigentlich wirkungsloses Medikament.

Dieser Effekt ist umso stärker, umso mehr Vertrauen in die Behandlung da ist.

Der Placebo-Effekt ist manchmal sogar größer als die eigentliche Wirkung. Deswegen ist es in Studien sehr wichtig, beides voneinander trennen zu können.

Dafür gibt es die sogenannte „Verblindung“ oder „Doppelblindstudien“: Weder Patient*in noch Ärzt*in wissen, ob im Einzelfall die „richtige“ Behandlung angewendet wird, oder eine „Scheinbehandlung“.

Nur so kann man am Ende herausfinden, ob neben dem Placebo-Effekt eine spezifische Wirkung vorhanden ist.

Das Problem: Es ist gar nicht immer so leicht, eine gute Verblindung hinzubekommen. Einige Medikamente und Eingriffe haben deutliche Nebenwirkungen, anhand derer die Versuchsteilnehmer dann doch merken, dass sie das echte Mittel erhalten haben.

Das Vertrauen in die Behandlung steigt dann natürlich in dieser Gruppe.  So fällt der Placeboeffekt in der Medikamentengruppe deutlich höher aus als in der Placebogruppe – und wird mit einer „richtigen Wirkung“ verwechselt.

9) Weitere Probleme mit dem Studiendesign

Mangelnde Sorgfalt in der Planung und Durchführung kann die Aussagekraft von Studien sehr beeinträchtigen.

Manchmal ist die Anzahl der untersuchten Personen zu klein oder es gibt keine oder keine geeignete Kontrollgruppe (Vergleichsgruppe ohne Behandlung).

Die Zuordnung der Versuchsteilnehmer zur Behandlungsgruppe oder Vergleichsgruppe sollte zufällig erfolgen (randomisiert) – ist das nicht der Fall, sind die Ergebnisse möglicherweise verzerrt.

Fehlende Daten oder das Ignorieren wichtiger Einflüsse können ebenfalls zu nur eingeschränkt brauchbaren Ergebnissen führen.

Dauer der Studie: Viele Untersuchungen dauern nicht länger als einige Wochen. Wenn es um die Langzeitanwendung oder Langzeitauswirkung eines Medikaments oder Nahrungsergänzungsmittels geht, sind derart kurze Studien aber kaum aussagekräftig.

10) Kein Mensch entspricht dem Durchschnitt

Wenn in einer Studie herauskommt, dass die mit einem Medikament behandelten Patient*innen im Durchschnitt 3-5 Kilo an Gewicht zunehmen, heißt das nicht, dass du als Einzelperson 3-5 kg zunimmst.

Da es ein Durchschnittswert ist, haben wahrscheinlich einige Menschen sehr viel stärker an Gewicht zugenommen – andere vielleicht gar nicht oder sie haben sogar an Gewicht verloren.

Du solltest also alle diese Möglichkeiten für dich in Betracht ziehen – oder, wenn es um sehr wichtige Entscheidungen geht, genauere Informationen über die Studienergebnisse einholen.

Manchmal unterscheidet sich auch der Zeitpunkt, wann eine Reaktion eintritt, so sehr, dass es gar nicht bei allen Versuchspersonen richtig erfasst werden kann. Zum Beispiel kann es nach einer belastenden Situation je nach Person unterschiedlich sein, wie schnell der Cortisolspiegel steigt und wann er wieder abfällt.

Generell gilt das für die meisten Aussagen in Studien. Auch wenn ein Artikel verspricht: „Dieses Verfahren hilft Menschen mit Arthrose schmerzfreier zu leben“ heißt das nicht, dass es allen Menschen gleichermaßen hilft. Bei manchen mag es sogar zu einer Verschlechterung führen. Das klingt so selbstverständlich, aber ich habe oft die Erfahrung gemacht, dass  auch Ärzt*innen eher von Durchschnittswerten ausgehen und stark davon abweichende Reaktionen nicht ernst nehmen.

Genauso müssen negative Prognosen nicht auf jeden zutreffen. Wenn du unter Ängsten leidest, und einen Artikel darüber liest, dass bestimmte Ängste im Alter schlimmer werden, heißt das nicht, dass es dir so ergehen wird.

11) Unser Körper ist kompliziert

Auch wenn alles mit rechten Dingen zugeht, die Daten korrekt sind, die Forscher*innen sich nichts zuschulden kommen lassen im Hinblick auf bewusste oder unbewusste Manipulationen der Versuchsanordnung: Die meisten Prozesse im Körper sind sehr komplex. Es gibt oft mehrere Orte wo bestimmte Dinge reguliert werden. Es gibt komplizierte Rückkopplungen und verwirrende Zusammenhänge.

Selten erfüllt ein in den Körper eingebrachter Stoff genau nur eine spezifische Funktion – und lässt andere Prozesse unberührt. Innere Vorgänge werden immer auch von Umweltbedingungen, Wechselwirkungen mit anderen Stoffen und psychosozialen Faktoren beeinflusst.

Das bedeutet, selbst wenn die Studienlage gut ist, und der Wirkmechanismus eines Medikaments aufgeklärt und gut verstanden ist: Niemand kann sagen, was dabei exakt in einem bestimmten Organismus – oder Patienten – passiert.

Es wirken so viele verschiedene Faktoren auf unsere Gesundheit und unser Wohlbefinden ein.

Keine Studie kann daher deine gesundheitliche Zukunft genau vorhersagen.

Kriterien für aussagekräftige Studien

Wir können natürlich nicht alle genannten Faktoren überprüfen.

Gute Richtlinien sind aber:

• Die Studie wurde von unabhängigen Wissenschaftler*innen und Instituten durchgeführt
• Es gibt eine ausreichend hohe Anzahl an Versuchspersonen (das kann je nach Fragestellung unterschiedlich sein – mehr als eine Handvoll Probanden sollten es aber schon sein)
• Es handelt sich um eine Langzeitstudie (hier kommt es natürlich auch auf die Fragestellung an)
• Es handelt sich um eine sogenannte „randomisierte kontrollierte Doppelblindstudie“ (Es gibt eine Vergleichsgruppe ohne Behandlung, und wer in welche Gruppe kommt, wurde zufällig bestimmt)
• Die Autor*innen machen genaue Angaben darüber, welche Einschränkungen es bei der Interpretation ihrer Ergebnisse gibt – und wie wichtig ihre gemessenen Effekte im „echten Leben“ sind.
• Metastudien haben meist mehr Aussagekraft (Eine Metastudie ist eine Auswertung der Daten sehr vieler Einzelstudien)

Wenn diese Kriterien erfüllt sind, handelt es sich meist um eine eher aufwändigere Studie. Natürlich ist das keine Garantie. Es macht aber einen großen Unterschied, ob die Wirksamkeit in einer kleinen Studie eines Herstellers an einer Zellkultur nachgewiesen wurde, oder in einer unabhängigen längeren Meta-Studie mit vielen Menschen.

Fazit

Wenn du bis hierhin gelesen hast: Glückwunsch 🙂 es ist ja eher ein trockenes Thema – und es ist leider sogar für viele Wissenschaftler*innen nicht leicht, sich immer der vielen Faktoren bewusst zu sein, aufgrund derer Studienergebnisse nur begrenzt aussagekräftig sein können.

Das wird sicher auch ein Grund sein, dass es manchmal leichter fällt, entweder einfach pauschal die gesamte Forschung als unglaubwürdig oder korrupt abzulehnen – oder, sie im anderen extrem, niemals in Frage zu stellen.

Meiner Meinung nach wäre aber beides weit über das Ziel hinaus geschossen: Wir brauchen wissenschaftliche Studien. Und wir brauchen das Vertrauen in die grundsätzliche Verlässlichkeit unserer Forschung. Dafür sind aber auch kritische Betrachtungen notwendig.

Es gibt meist nicht nur schwarz oder weiß. Das macht es kompliziert. Wir möchten es gerne einfach – aber gerade wenn du wie ich eine chronische Erkrankung hast, ist dir sicher auch schon klar geworden, dass das Leben genauso wie die medizinische Forschung selten ganz einfache Antworten bereit hält.

Jedenfalls hoffe ich, du hast jetzt kleinen, aber hilfreichen Einblick gewonnen, warum Studie nicht gleich Studie ist. Das kann verwirrend sein – uns aber auch helfen uns davon frei zu machen, entweder immer der neuesten Forschung vertrauen zu müssen, oder wahlweise denen, die die moderne Medizin komplett ablehnen – sondern uns unseren eigenen, für uns passenden Weg zu suchen und zu finden.

Zum Weiterlesen

Achtung, wissenschaftliche Studie!

Der tiefe Fall eines Ernährungspapstes (Artikel bei Spektrum der Wissenschaft)

Gleiche Daten, anderes Ergebnis (Artikel bei Spektrum der Wissenschaft)

Fakten – Wahrheit und Evidenz in der Wissenschaft (Kombipaket mehrerer Artikel bei Spektrum der Wissenschaft für 4,99 Euro)

Kritische Bücher von Ben Goldacre (Amazon-Link zu den Büchern)

Tödliche Medizin und organisierte Kriminalität: Wie die Pharmaindustrie unser Gesundheitswesen korrumpiert. Peter C. Gøtzsche (Amazon-Link zum Buch)

PDF-Datei: Fach-Beitrag für Ärzt*innen – kritisches Lesen wissenschaftlicher Artikel

(Ich verdiene nichts an den Links, sie sind nur für weiteres Recherchieren und Nachlesen gedacht).

Wichtiger Hinweis: Die Beiträge auf dieser Seite dienen der allgemeinen Information, können aber keine Behandlung durch Ärzt*innen, Psychotherapeut*innen oder andere Fachmenschen ersetzen. Ich bin weder Medizinerin noch Psychologin. Lies daher bitte den medizinischen Haftungsausschluss.

Ergänzungen, Fragen, Kritik? Ich freue mich über deinen Kommentar.