Как выполнить тестирование браузера в Google Chrome, который постоянно обновляется

Question

Как команды QA проводят браузерное тестирование Google Chrome?

Поскольку Google Chrome постоянно обновляется, возникает проблема в ограничении области тестирования конкретной версией.Хотя мы можем ограничить поддержку IE8 и IE9, номер версии Google Chrome является движущейся целью.

Возможные подходы:

1. Заморозить версию Google Chrome в началецикла разработки.
2. Разрешить Google Chrome обновляться во время цикла разработки.Разработайте и протестируйте любую версию, которая является текущей на данный момент.

Подход № 1 означает, что все должны синхронизироваться с определенной версией и редактировать свой реестр, чтобы предотвратить автоматическое обновление.Кроме того, вы будете выпускать код для версии X, в то время как мир будет в основном автоматически обновляться до версии X + 1.

Проблема с # 2 заключается в том, что функциональность браузера может изменяться в течение циклов разработки.Предположим, что QA завершается в понедельник, а код отправляется в рабочую среду.Если Google выпустит крупное автоматическое обновление во вторник, это может привести к сбою кода, и никто не узнает, пока он не выйдет в производство.

Как зрелые организации веб-разработки справляются с этим?

Answer 1

Chrome обновляется, поэтому автоматически и бесшумно единственный разумный выбор - это тестирование на самую последнюю версию. Вы можете сделать несколько версий впереди , запустив различных каналов : канарейка, разработка, бета или стабильная версия.

Чтобы увидеть, как быстро происходят обновления Chrome для всей пользовательской базы, посмотрите последний график здесь .

Answer 2

Мы используем вариант 2 по ряду причин.

1) Мы пытаемся смоделировать взаимодействие с пользователем во время тестирования (отключение обновления имитирует отклонение от нормы)

2) Скорее обнаружит дефект в последнем раунде тестирования, чем пользователи сообщат о них

3) Я не могу вспомнить время, когда у нас возник серьезный дефект при тестировании таким способом. Как уже упоминал Мэтт, весьма маловероятно, что их обновления нарушат важные функции.

Чтобы помочь снизить часть этого риска, мы стараемся использовать селен для нашего основного тестирования функциональной автоматизации для постоянного тестирования различных браузеров. Это не все, но, по крайней мере, найдет большие проблемы (например, отсутствующий столбец). Это также помогает быть гибким в этих вещах. Мы можем выпускать по любому необходимому графику (ежемесячно, еженедельно, ежедневно, если необходимо), поэтому, если серьезная проблема найдена, мы можем исправить ее в тот же день.

Answer 3

Сайты, которые используют стандартный / действительный HTML, JavaScript, CSS-синтаксис и т. Д., Вряд ли будут ломаться с обновлениями Google (или Firefox или любого браузера, отличного от IE, на самом деле).Были ли какие-либо случаи, когда обновление Chrome нарушало допустимый законный HTML / JS в прошлом?

Лучший совет, по-видимому, заключается в том, чтобы убедиться, что ваш сайт максимально чист, и проводить тестирование во всех браузерах.«Отказ от поддержки», похоже, все равно отталкивает ваших пользователей.

Answer 4

Мы просто отключаем автообновление во всех браузерах и получаем множество виртуальных машин с различными версиями браузера.