P-Werte werden in der Wissenschaft oft als eine Art heiliger Gral gesucht. Als wohl eines der umstrittensten Themen in der Statistik beginnen wir unsere 2016er Reihe „Statistiken in kleinen Dosen“ mit einer Beschreibung dessen, was p-Werte wirklich sind und wie sie tatsächlich irreführend sein können. Die Reihe 2016 wird dann mit etwas Nützlicherem fortgesetzt, nämlich Konfidenzintervallen.
In der grundlegenden randomisierten klinischen Studie einer neuen Behandlung vs. einer Standardbehandlung (oder Kontrolle) werden statistische Tests durchgeführt, um diese „Arme“ der Studie mit einem hypothetischen Ergebnismaß zu vergleichen, und voilà, ein p-Wert erscheint! Der p-Wert ist die Wahrscheinlichkeit, dass so große Effekte wie in einer Studie beobachtet würden, wenn dies wirklich der Fall ist nicht Unterschied im Ergebnis zwischen den Armen der Studie. Wenn diese Wahrscheinlichkeit gering ist (z. B. p < 0.05), ist es unwahrscheinlich, dass die Daten zufällig entstanden sind, und wir freuen uns normalerweise darüber, dass sich unser Ergebnis zwischen Behandlungs- und Kontrollgruppe unterscheidet. Wenn diese Wahrscheinlichkeit groß ist (z. B. p > 0.05), sind wir möglicherweise verzweifelt, weil die Daten nach all unserer Arbeit zufällig entstanden sein könnten, und wir nicht auf die eine oder andere Weise sagen können, ob sich unser Ergebnis zwischen den Behandlungen unterscheidet und Kontrollgruppen. Die Ermittler haben sogar p-gehackt ihre Daten, um zu sehen, ob die Zahlen in „statistisch signifikante“ Ergebnisse massiert werden können. Leider wurden diese Ermittler durch den p-Wert abgelenkt.
Statistische Signifikanz wird tendenziell mit medizinischer Bedeutung oder biologischer Relevanz gleichgesetzt. Aber kleine Effekte ohne wirkliches Interesse können bei großen Stichprobenumfängen statistische Signifikanz erreichen; Umgekehrt können klinisch bedeutsame Wirkungen nur deshalb keine statistische Signifikanz erreichen, weil die Zahl der untersuchten Probanden gering war. Zusammenfassend schränken p-Werte unser Denken auf zwei alternative Ergebnisse ein – signifikant oder nicht signifikant – und selbst präzise p-Werte sagen nichts über die Größe der Unterschiede zwischen oder zwischen Studiengruppen aus. Bleiben Sie dran für Konfidenzintervalle zur Rettung!
