Цель A / B-теста обычно - увидеть реакцию пользователей (в некотором смысле, насколько им это нравится) на новый интерфейс, функцию и т. Д. c. Но вы знаете, что новая версия работает. Итак, вы фактически случайным образом отправляете обе версии приложения всем им. Это может быть 50-50, 80-20, 90-10, что угодно. Иногда функциональность даже не актуальна. Возможно, вам захочется узнать, какая версия привлекает больше клиентов и тому подобное.
Canary больше ориентирован на то, насколько хорошо работает новая функция. Или если это действительно работает. Обычно это 90-10, 80-20, A >> B. Никогда 50-50, потому что, если что-то пойдет не так, вы не хотите, чтобы у половины ваших пользователей был плохой опыт. Таким образом, вы не уверены, будет ли новая версия работать должным образом. Самая важная разница (и об этом почти никто не говорит) заключается в том, что у канареечного тестирования есть привязка к сеансу. Таким образом, он не отправляет обе версии всем пользователям, а случайным образом отправляет некоторых пользователей на новую версию и сохраняет их на одной и той же версии.