多重比較の重要性

なぜ「検定をたくさん行う」と問題が起きるのか

このページの目的

一元配置分散分析で 「有意差がある」 という結果が得られると， 次に次の疑問が生じます．

どの群とどの群の間に差があるのか？

この疑問に答える際に， 注意しなければならないのが 多重比較の問題 です．

よくある誤り

3群以上ある場合， すべての組み合わせについて t検定を行いたくなります．

例えば， 群A，群B，群Cがある場合，

の3回のt検定を行うことになります．

なぜ問題なのか

各t検定で有意水準を 0.05と設定したとします．

これは， 「本当は差がないのに， 5%の確率で有意になってしまう」 という意味です．

検定を1回だけ行うなら， この確率は問題になりにくいですが， 回数が増えると事情が変わります．

直感的な説明

検定を3回行うと， 少なくとも1回は 偶然有意になる確率は， 次のように計算できます．

$ 1 - (1 - 0.05)^3 \approx 0.14 $

つまり， 本当は差がなくても， 約14%の確率で 「有意差あり」と判断してしまう のです．

これを 第Ⅰ種の誤りの増加 と呼びます．

分散分析との関係

一元配置分散分析は， こうした問題を避けるために， 全体を1回の検定で評価 します．

その結果， 有意差があると分かった場合にのみ， 次の段階として 群間の比較を行います．

多重比較とは

多重比較とは， 複数の群の比較を行う際に， 有意水準を調整する方法 の総称です．

これにより， 「検定をたくさん行ったために 有意になってしまう」 という問題を防ぎます．

代表的な多重比較法

実際の研究では， 次のような方法がよく用いられます．

それぞれ特徴がありますが， 共通しているのは， 偶然の有意差を抑える という目的です．

論文での位置づけ

一般的な論文では， 次の流れで解析が報告されます．

  1. 一元配置分散分析で全体を検定
  2. 有意であれば多重比較を実施
  3. どの群間に差があるかを報告

まとめ