Пользователи Gallio, какие преимущества и недостатки вы испытали, используя этот инструмент?

Question

Для тех из вас, кто знаком с Gallio , какие преимущества и недостатки вы испытали при использовании этого инструмента, так называемой платформы автоматизации тестирования?

Answer 1

Мы используем Gallio / MbUnit уже год. Мы очень довольны, ребята из Gallio продолжают вводить новые интересные функции, и разработка идет активно. Если вы решите использовать его, вот несколько советов / замечаний:

1. Купите себе лицензию TestDriven.NET - я думаю, что она обязательна для модульных тестов Gallio, поскольку тестировщик Resharper не знает, как запускать определенные тесты + Gallio предлагает один из своих тестеров, ориентированных на TD.NET.
2. Мы используем программу запуска командной строки Gallio.Echo для скриптов / сборок CI. Gallio Icarus - GUI runner (по крайней мере, текущая версия) довольно нестабилен и не очень удобен для пользователя.
3. Если вы хотите использовать новейшие функции Gallio (например, параллельные тесты и т. Д.), Будьте готовы использовать последние ежедневные сборки Gallio. Если это проблема, придерживайтесь «официальных» сборок, но у нас не было никаких реальных проблем с ежедневными версиями сборки.
4. Я рекомендую добавить базовые файлы .DLL и .EXE для Gallio в систему контроля версий. И на самом деле ссылки эти в ваших проектах, а не из GAC. Таким образом, вы избежите проблем с «работой на моей машине», если кто-то из вашей команды установит на свою машину другую версию Gallio.

Answer 2

Я также попробовал Gallio, и он работает намного медленнее, чем TDD.Net или собственный тестовый интерфейс NUnit GUI. Это даже медленнее, чем бегун Resharper!

Я должен добавить, что я говорю о запуске тестов NUnit здесь.

Я не помню точных цифр, но для тех же тестов, которые закончил NUnit за 30 секунд, потребовалось около 3 минут (работа в одном потоке, один процесс, несколько доменов).

Это само по себе уже не позволяет. Добавьте к этому громоздкий графический интерфейс, и вы знаете, как далеко от него.

---

Некоторая дополнительная информация:

• В моем решении у меня есть тесты NUnit и недавно начал добавлять MSpec технические характеристики. У меня есть NUnit Gui открыть автоматически перезапустить мой старый тесты (все новые тесты записываются как MSpecs) после перекомпиляции и изменение dll теста.

• Я использую TDD.Net для запуска своих спецификаций Mspec.

• Это позволяет мне продолжить работу после завершения работы моих спецификаций, пока бегун NUnit Gui работает все еще отделка.

Answer 3

Когда мы оценивали Gallio, у нас возникали проблемы со стабильностью в больших проектах. Наши небольшие проекты работали прекрасно, как бы то ни было. Отличная концепция ... Я думаю, что это вызовет большой гул, как только он станет немного более изысканным.

Я мог бы добавить, что поддержка Resharper некоторое время отсутствовала (или была прервана), но я слышал, что она вернулась.

Answer 4

Это ужасно нестабильно, я использовал его около 3-4 месяцев назад, это было ужасно нестабильно и медленно.

Теперь я только что попробовал это, и он зависает, когда вы нажимаете «Сохранить», затем он никогда не открывается снова, если вы не очистите «Локальные настройки», я предполагаю, что он все еще ужасно нестабилен.

Хотелось бы, чтобы они прекратили добавлять новые функции и вместо этого исправили эти довольно очевидные ошибки.

P.S. Project прошел 1000 ~ юнит-тестов и использует nUnit (возможно, это просто мои nUnit и Gallio не очень хорошо играют вместе)

Я действительно хочу использовать его, и у меня есть 3.1 - 313, я даже не смог сохранить проект без крушения!

После всех плохих преимуществ здесь:

• Отличная поддержка для разных вкусов, я использовал его для nUnit и mbUnit, это действительно хорошо. Он даже очень хорошо поддерживает RowTest в nUnit.

• GUI довольно крутой, чистый

• Получил отличные функции, такие как настройка рабочего каталога
• Отчетность и интеграция

Answer 5

В последней версии Gallio (3.0.6) устранены многие проблемы со стабильностью, упомянутые в этих постах. В частности, Icarus теперь намного более стабилен и имеет возможность подключаться к встроенному отладчику, поэтому он может быть даже быстрее, чем Resharper, который перекомпилирует код перед каждым запуском теста.

Answer 6

Я оцениваю Галлио, и это действительно отличная концепция. Теперь мне не нужно сообщать моим разработчикам, какую платформу модульного тестирования они должны использовать, потому что она интегрирована со всеми основными из известных мне. Они могут использовать то, что им удобнее всего, и я получаю код, проверенный модулем.

Интеграция Resharper также хороша. Я могу запустить все модульные тесты с помощью Resharper, не выпрыгивая из командной строки для их запуска.

По моему мнению, это должно значительно упростить внедрение модульного тестирования в магазинах. Я согласен с @ David , недостатком является то, что он еще не выпущен.

Answer 7

Что касается преимуществ, интеграция со всем довольно приятна :) Серьезно, я большой поклонник экспериментальной интеграции с Visual Studio Team System (скриншоты здесь ). Я думаю, что это действительно снижает планку для новичков в модульном тестировании.

Единственный недостаток с моей точки зрения на данный момент - это тот факт, что он еще не выпущен.