Alpha-Korrektur#

Jedes Mal, wenn du einen statistischen Test durchführst, gehst du ein Risiko von 5 % ein, fälschlicherweise ein signifikantes Ergebnis zu finden (bei alpha = 0.05). Das klingt akzeptabel — bei einem einzelnen Test. Aber was passiert, wenn du 10, 20 oder 50 Tests gleichzeitig rechnest? Dann addieren sich diese Risiken, und plötzlich ist die Wahrscheinlichkeit für mindestens einen Fehlalarm erschreckend hoch. Genau hier setzt die Alpha-Korrektur an.

Das Problem der multiplen Vergleiche#

Dieses anwachsende Fehlerrisiko heisst familywise error rate (FWER) — die Wahrscheinlichkeit, innerhalb einer Familie von Tests mindestens einen Fehler 1. Art zu begehen.

Korrekturverfahren#

Bonferroni-Korrektur#

Das einfachste und bekannteste Verfahren. Du teilst dein Alpha-Niveau durch die Anzahl der Tests:

Bei 10 Tests und alpha = 0.05 wird der korrigierte Schwellenwert: 0.05/10 = 0.005. Ein Ergebnis gilt nur dann als signifikant, wenn p < 0.005.

Holm-Bonferroni (Schritt-für-Schritt)#

Eine verbesserte Version der Bonferroni-Korrektur, die weniger konservativ ist, aber die FWER trotzdem kontrolliert.

So funktioniert es:

1. Sortiere alle p-Werte von klein nach gross
2. Vergleiche den kleinsten p-Wert mit alpha/m
3. Wenn signifikant, vergleiche den zweitkleinsten mit alpha/(m-1)
4. Fahre fort, bis ein p-Wert nicht mehr signifikant ist
5. Alle verbleibenden p-Werte gelten als nicht signifikant

Benjamini-Hochberg (FDR-Korrektur)#

Dieser Ansatz kontrolliert nicht die FWER, sondern die False Discovery Rate (FDR) — den erwarteten Anteil falscher Entdeckungen unter allen signifikanten Ergebnissen. Das klingt lockerer, ist aber in vielen Situationen die sinnvollere Strategie.

So funktioniert es:

1. Sortiere alle p-Werte von klein nach gross
2. Vergleiche den grössten p-Wert mit alpha
3. Den zweitgrössten mit alpha × (m-1)/m
4. Allgemein: p(i) mit alpha × i/m
5. Der grösste p-Wert, der sein Kriterium erfüllt, und alle kleineren gelten als signifikant

Vergleich der Verfahren#

Wann ist eine Korrektur nötig?#

Nicht jede Situation erfordert eine Alpha-Korrektur. Hier eine Orientierung:

Korrektur empfohlen:

• Mehrere Post-hoc-Vergleiche nach einer ANOVA
• Viele Korrelationen in einer Korrelationsmatrix
• Subgruppenanalysen ohne vorab formulierte Hypothesen

Korrektur eher nicht nötig:

• Ein einziger vorab geplanter Vergleich (primärer Endpunkt)
• Orthogonale Kontraste (die sind unabhängig voneinander)
• Konfirmatorische Studie mit einem primären Test

Häufige Missverständnisse#

• "Bonferroni ist immer die richtige Wahl." — Holm-Bonferroni kontrolliert die FWER genauso gut, hat aber mehr Power. Es gibt kaum einen Grund, die einfache Bonferroni-Korrektur vorzuziehen.
• "Ohne Korrektur sind alle meine Ergebnisse ungültig." — Alpha-Korrektur betrifft die Gesamtfehlerrate. Einzelne Tests mit p = .001 sind auch ohne Korrektur kaum Zufall.
• "FDR-Korrektur ist unseriös." — Im Gegenteil: Für explorative Analysen mit vielen Tests ist die FDR-Korrektur oft die methodisch sinnvollere Wahl, weil sie mehr Power behält.
• "Ich teste einfach weniger Hypothesen, dann brauche ich keine Korrektur." — Das ist tatsächlich eine legitime Strategie. Wenige, vorab geplante Vergleiche reduzieren das Problem.

Praktische Tipps#

1. Plane vorher: Definiere vor der Datenerhebung, welche Vergleiche du anstellst
2. Nutze Holm statt Bonferroni: Gleiche FWER-Kontrolle, mehr Power
3. Berichte transparent: Gib an, wie viele Tests insgesamt durchgeführt und welche Korrektur verwendet wurde
4. Schau auf Effektgrössen: Ein signifikanter p-Wert nach Korrektur sagt nichts über die praktische Relevanz