ブログ ・ 2026-06-22 ・ RankProof編集部(Kichi)
その順位アップ、本物?「たまたま」を見分ける信頼区間の考え方
信頼区間とは、「観測された効果が、偶然のばらつきでは説明しにくいかどうか」を幅で示すものです。幅がゼロをまたぐなら「効いたとは言い切れない(判定保留)」、ゼロからはっきり離れていれば「効いた可能性が高い」と、誠実に線を引けます。SEO施策のあとに順位やクリックが少し増えても、それが本物の効果か偶然のブレかは見た目では区別できません。
なぜ数字は「たまたま」動くのか
検索のクリックは毎日同じではありません。曜日、ニュース、ちょっとした表示順の揺れで上下します。とくにクリック数が少ないページほど、この揺れの幅が大きくなります。
月に20クリックのページが翌月25になっても、それは施策のおかげかもしれないし、ただの良い週が入っただけかもしれません。少ない数字の「+25%」は、想像以上に当てになりません。
信頼区間で何が分かるか
信頼区間は「効果はだいたいこの範囲に収まりそう」という幅です。たとえば純効果の推定が+15%でも、信頼区間が「−5%〜+35%」なら、ゼロ(効果なし)を含むので「効いたとは断定できない」。
一方「+8%〜+22%」のように幅がゼロより上で収まっていれば、「偶然では説明しにくい=効いた可能性が高い」と読めます。点の数字より、幅を見るのがコツです。
実務でどう使うか
- 施策の前後で、対象ページの変化を見る(できればサイト全体の波を差し引いたうえで=DiD)
- その効果が、偶然のブレの範囲に収まっていないかを確認する
- 収まっている(ゼロをまたぐ)なら、結論を急がず「判定保留」。データが溜まってから見直す
- クリックが極端に少ないページは、そもそも判定に時間がかかると割り切る
RankProofでの位置づけ
手作業でここまでやるのは大変です。RankProofは、施策の前後をサイト全体トレンドで調整したうえで、信頼区間つきで「効いた/効いていない/判定できない」を出します。判定できないときは、無理に断定せず判定保留と表示します。
よくある質問
信頼区間は何%にすればいい?
一般には95%がよく使われます。厳しくするほど「効いた」と言うハードルは上がります。
クリックが少ないページは諦める?
諦めるのでなく、判定に時間がかかると考えるのが正解です。データが溜まると幅は狭まります。
順位(平均掲載順位)でも同じ?
同じ発想です。少数データはぶれるので、点の上下だけで判断しないことが大切です。