事後検定入門 — どの群間に差があるかを特定する多重比較法

事後検定（Post-hoc test）は、ANOVAやKruskal-Wallis検定で「群間のどこかに有意な差がある」とわかった後に、「具体的にどの群とどの群の間に差があるのか」を特定するための手法です。ANOVAは全体として差があるかどうかを検定しますが、個別の群間比較は行いません。事後検定はこの「犯人捜し」の役割を担います。

族単位のエラー率（FWER）を制御する

4群あれば6通り、5群あれば10通りの群間比較が必要になります。単純にt検定を繰り返すとタイプIエラー（偽陽性）が蓄積し、実際には差がないのに「差がある」と誤判定する確率が跳ね上がります。事後検定は、すべての比較を通じてタイプIエラーの全体的な確率（族単位のエラー率、FWER）を制御する仕組みを持っており、信頼性の高い群間比較を実現します。

代表的な事後検定手法

1. 1

   Tukey HSD（Honestly Significant Difference）

   最も広く使われる事後検定です。すべてのペアワイズ比較を一度に行い、FWERを制御します。群のサンプルサイズが等しい場合に最も適しています。

2. 2

   Bonferroni補正

   有意水準を比較回数で割る（例：6回比較なら0.05÷6=0.0083）というシンプルな方法です。保守的（差を見つけにくい）ですが、任意の検定に適用できる汎用性があります。

3. 3

   Scheffé法

   最も保守的な事後検定で、事前に計画されていない比較（事後的な比較）にも対応できます。検出力は低いですが、あらゆる線形対比に適用可能という柔軟性があります。