Мне кажется, я понимаю. Выше уровня тестирования разработчика, у вас есть уровень тестирования клиента, и на этом уровне кажется, что вы находите много ошибок.
Для каждой найденной ошибки вы должны остановиться, снять шляпу для тестирования, надеть шляпу для воспроизведения и определить точную стратегию воспроизведения. Затем вы должны документировать ошибку, возможно, поместить ее в систему отслеживания ошибок. Затем вы должны надеть шляпу для тестирования. В то же время вы потеряли все настройки, над которыми работали, и потеряли представление о том, где вы находились, независимо от плана тестирования, который вы выполняли.
Теперь - если это не должно было случиться - если у вас было очень мало ошибок - вы могли бы прыгнуть прямо через тестирование, верно?
Сомнительно, что автоматизация тестирования вождения с помощью графического интерфейса поможет решить эту проблему. Вы потратите много времени на запись и обслуживание тестов, и эти регрессионные тесты займут достаточно времени, чтобы окупить инвестиции. Изначально вы будете намного медленнее с тестами GUI-Driving, ориентированными на клиента.
Итак (я утверждаю), что действительно может помочь более высокое / начальное / качество кода, возникающее в результате деятельности по разработке. Микротесты - также называемые разработчиками-тестами или разработкой на основе тестов в оригинальном смысле - могут действительно помочь в этом. Еще одна вещь, которая может помочь, это парное программирование.
Предполагая, что вы не можете получить кого-то еще для пары, я бы потратил час на просмотр вашей системы отслеживания ошибок. Я бы посмотрел на последние 100 дефектов и попытался классифицировать их по основным причинам. «Проблема обучения» не является причиной, но может быть «ошибка одной ошибкой».
После того, как они будут классифицированы и подсчитаны, поместите их в электронную таблицу и выполните сортировку. Какая бы ни была первопричина чаще всего, это первопричина, которую вы должны предотвратить в первую очередь. Если вы действительно хотите стать фантазером, умножьте основную причину на какое-то число, которое является причиной боли, которую она вызывает. (Пример: если из этих 100 ошибок у вас есть 30 опечаток в меню, которые легко исправить, и 10 трудно воспроизводимых ошибок javascript, вы можете сначала решить проблему с javascript.)
Это предполагает, что вы можете применить какое-то волшебное «исправление» к каждой из этих основных причин, но это стоит того. Например: прозрачные значки в IE6 могут быть связаны с тем, что IE6 не может легко обрабатывать файлы .png. Так что имейте триггер управления версиями, который отклоняет .gif при регистрации, и проблема исправлена.
Надеюсь, это поможет.