Тест на значимость для сплит-теста с более чем 2 расколами

Question

Какой критерий значимости следует использовать для процентной метрики с более чем двумя экспериментами?

Например,

Version | Clicks | Impressions
A       | 5      | 1,763
B       | 4      | 1,672
C       | 2      | 1,689

Насколько мы уверены, что вариант А действительно превосходит другие?два

Answer 1

В прошлом я лично проводил парные G-тесты между верхом и низом, умножая достоверность на коэффициент выдумки, равный n, выбирают 2, чтобы учесть тот факт, что существует n, выбирают 2 возможные пары, которые могли бытьсамый экстремальный.Теоретически это слишком консервативно, но у меня это сработало.

Подробнее см. http://elem.com/~btilly/effective-ab-testing/.