なぜt検定を繰り返してはいけないのか
3群以上の場合， すべての組み合わせでt検定を行うと， 偶然による有意差が出やすくなる という問題があります．
一元配置分散分析では， 全体を一度の検定で評価することで， この問題を防ぎます．
この検定は何をするもの？
一元配置分散分析（ANOVA）は， 3つ以上の群の平均に差があるかどうか を調べるための検定です．
対応のないt検定は2群までしか扱えませんが， 一元配置分散分析は それを3群以上に拡張した方法と考えることができます．
具体例
ある教材の学習効果を， 3つの学習方法で比較したとします．
| 方法A | 方法B | 方法C |
|---|---|---|
| 70 | 65 | 80 |
| 72 | 68 | 78 |
| 68 | 70 | 82 |
| 75 | 66 | 79 |
各群の平均は，
$ \bar{x}_A = 71.3 \quad \bar{x}_B = 67.3 \quad \bar{x}_C = 79.8 $
分散分析の考え方
一元配置分散分析では， 次の2つのばらつきを比較します．
- 群間のばらつき（平均の違い）
- 群内のばらつき（個人差）
群間のばらつきが， 群内のばらつきに比べて 十分大きければ， 「平均に差がある」 と判断します．
平方和の定義
分散分析では， ばらつきを 平方和 で表します．
- 群間平方和：$SS_B$
- 群内平方和：$SS_W$
$ SS_B = \sum n_i (\bar{x}_i - \bar{x})^2 $
$ SS_W = \sum \sum (x_{ij} - \bar{x}_i)^2 $
ここで， $\bar{x}$ は全体平均です．
平均平方とF値
平方和を自由度で割ることで， 平均平方を求めます．
$ MS_B = \frac{SS_B}{k - 1} $
$ MS_W = \frac{SS_W}{N - k} $
これらの比が， F値です．
$ F = \frac{MS_B}{MS_W} $
F値の意味
F値は， 「群間のばらつきが， 群内のばらつきの何倍か」 を表しています．
F値が大きいほど， 群の平均に差がある可能性が高くなります．
結果の解釈
F分布を用いてp値を求め， 次のように判断します．
- p < 0.05：少なくとも1群に平均の差がある
- p ≥ 0.05：平均の差は確認できない
どの群同士が異なるかは， 分散分析だけでは分かりません．
論文での書き方（例）
一元配置分散分析を行った結果， 学習方法の主効果が有意であった （F(2, 9) = 15.3, p < .01）．
まとめ
- 3群以上の平均を同時に比較できる
- 分散の比から差の有無を判断する
- 有意でも群の組み合わせは別途検討が必要
注意：この結果だけでは不十分
一元配置分散分析で有意差が得られても， どの群同士に差があるのかは分かりません．
ここで個別にt検定を行うと， 偽陽性が増えるという問題があります．
この問題を避けるために， 多重比較 を行います．