В тесте A / B я вычисляю долю группы A, которая что-то сделала, и сравнивая ее с долей группы B, которая что-то сделала, чтобы увидеть, есть ли значимая разница. Я провожу t-тест и обнаружил, что разница в -30% имеет значение p ~ 0,99, поэтому я не могу отвергнуть гипотезу о том, что эти пропорции разные.
Я хочу показать 95% доверительный интервал вокруг этой разницы, и он [-0,6238, 0,0084]. Это так близко к нулевому охвату, поэтому я использую 90% доверительный интервал, и он равен [-0,5730, -0,0424].
Как это возможно, чтобы значение p было таким высоким, но 90% доверительный интервал исключает 0?