May the Power be with you

Wie erhöht man die Teststärke?

Im 1. Semester habt ihr euch lange mit dem t-Test befasst. Dabei seid ihr auch auf die sog. Determinanten des t-Tests (Signifikanzniveau, Stichprobenumfang, Fehler 2. Art bzw. Teststärke, Effekt) eingegangen. Mit diesem Wissen könnt ihr schon antworten: Um die Teststärke zu erhöhen, kann man…

• den Fehler 2. Art senken,
• das Signifikanzniveau vergrößern,
• größere Effekte postulieren,
• den Stichprobenumfang erhöhen, d.h. mehr Personen untersuchen.
• Teste ein- statt zweiseitig.

Im weiteren Verlauf des Studiums werden euch noch folgende Möglichkeiten zur Power-Erhöhung begegnen:

• Verwende parametrische Tests, falls die Voraussetzungen erfüllt sind.
• Beschränke die Untersuchung auf wenige Hypothesen, da sonst ein Powerverlust durch die Alphaniveau-Adjustierung erfolgt.
• Halte den Versuchsplan einfach (oder erhöhe N).
• Teste multivariat, wodurch die Fehlervarianz (hoffentlich) kleiner wird.
• Nutze Kovarianzanalysen.
• Nutze Messwiederholungen.

Aber: Eine hohe Teststärke ist kein hinreichendes Kriterium für eine gute Untersuchung / ein gutes Experiment!

Was muss ich bei möglichen Maßnahmen zur Teststärkenerhöhung bedenken?

• Gibt es eine begründete Hypothese (Theorie), die eine einseitige Signifikanztestung zulässt?
• Über welche Gruppen (Stufen) will ich Aussagen treffen?
• Ist eine Messwiederholung für die zu untersuchende Fragestellung überhaupt möglich bzw. sinnvoll?
• Wie kommt man dazu wesentlich größere Effekte anzunehmen (als sie bisher gefunden wurden)?
• Was könnten im konkreten Fall Kovariaten sein? Variablen, die man nicht erfasst hat, kann man nicht herausrechnen.
• etc.