A / B тестирование и статистика решения

Question

Я искал хорошую платформу для тестирования в течение нескольких месяцев, ничего не находя, поэтому я просто строил свою собственную.

Вот что я хочу сделать:
- отслеживать произвольное поведение (например, количество просмотренных фотографий, количество опубликованных комментариев)
- отслеживать корреляцию между произвольными переменными и этими поведениями
(например, как разные версии этого приглашения влияют на среднее число просмотренных фотографий?)

Такие вещи должны быть основной частью гибкой разработки. Что там? Я знаю, что Оптимизатор веб-сайта - это один из ответов, но вы можете отслеживать только поведение, которое заканчивается на одной «успешной» странице.

Было бы замечательно иметь плагин, который может работать в вашем коде (в моем случае это Rails) и подавать в хороший хост-сервис с красивыми графиками ...

Answer 1

Возможно, вы захотите разделить вашу проблему на аналитику (показы, действия и возможные внутристраничные события, отчеты о ваших тестах) и платформу для обслуживания ваших вариантов (как вы управляете x вариантами с практической точки зрения готовя их, нужно ли хранить варианты для последующего использования, включать и выключать тесты, оптимизировать эффективность теста и т. д.). Ясно, что существует определенное совпадение, скажем, Оптимизатор веб-сайта может отключить плохой вариант, как только у него появятся данные для его поддержки, но, рассматривая это как различные проблемы, вы, возможно, сможете повторно использовать компонент Google Analytics.

Answer 2

Да, здесь:

http://github.com/paulmars/seven_minute_abs/tree/master