Рекомендации по тестированию iPhone OS

Question

Не так давно разработка iPhone была довольно простой, всего несколько версий ОС и еще меньше устройств.

Теперь, однако, есть 2 основные версии ОС и 5 различных устройств для рассмотрения.

Поскольку компания собирается выпустить несколько приложений, тестирование становится все более и более серьезной проблемой.

Каковы наилучшие способы тестирования всех комбинаций, нужно ли приобретать iPhone и iPod Touch каждого поколения? Есть ли какие-то ошибки с конкретными комбинациями аппаратного обеспечения / ОС, которые мне, возможно, понадобится кодировать?

Полагаю, мой вопрос: «Каков минимальный объем тестирования, необходимый для охвата всех баз?»

Answer 1

По моему опыту, у вас не будет особых проблем с совместимостью между iPod / iPhone. Есть и другие ошибки, о которых нужно знать:

• Устройства работают на разных скоростях. iPhone v1 и iPhone 3G работают на частоте 412 МГц; iPod Touch работает на частоте 532 МГц, а новый 3GS работает на частоте 600 МГц. Это может сильно повлиять на производительность и даже функциональность, если вам это нравится.
• Существует огромная разница в производительности между сетями EDGE / 3G / WiFi ; часто различия противоречат друг другу. EDGE часто может иметь лучшую задержку (время до первого байта), чем 3G, тогда как 3G имеет в 10 раз большую пропускную способность. Вы захотите протестировать свое приложение при всех трех условиях.
• Вы используете основное местоположение? iPhone v1 и iPod Touch не имеют GPS.
• Вы используете камеру? В iPod Touch нет камеры.
• Совместимо ли ваше приложение с взломанными телефонами? Многие люди сделали это, и если ваше приложение зависнет на них, они обвинят вас, а не хакеров Dev Team, и это будет отражено в ваши оценки App Store. Обратите особое внимание, что фоновые приложения могут использовать память, которая, как вы думали, будет доступна исключительно для вашего приложения. Оставь себе немного над головой.

Итак, что вам нужно купить? Если вы серьезный разработчик, да, вы должны иметь все 5 доступных устройств. Но нужно ли тестировать каждую сборку на всех 5 устройствах? Каждому из ваших разработчиков нужно по 5 устройств? Нет.

Один разработчик может протестировать все, что имеет значение, с одним iPhone 3G и iPod Touch. Бросьте 3GS и ваше покрытие, вероятно, почти идеально. (Обратите внимание, что разработка на 3GS намного приятнее только потому, что процессор быстрее, поэтому ваши приложения развертываются быстрее.)

На работе у нас есть одно устройство на разработчика, но они представляют собой смесь устройств 3G и iPod (а сегодня - одно 3GS).

Answer 2

Я не уверен, что это лучшая практика. Но я слышал, что многие люди используют ibetatest именно для того, что вы ищете. Много восторженных бета-тестеров там. У вас не должно быть проблем с 95% кода, работающего в разных версиях, и что-то вроде ibetatest должно поймать оставшиеся 5%.

Answer 3

У меня нет большого опыта работы с самим iPhone, но в целом это может быть хорошим приложением попарного тестирования . На практике вы можете получить 90% -ное покрытие с небольшой долей тестирования после исчерпывающего прохождения теста. Затем, если вы обнаружите, что у определенных конфигураций есть ошибки, вы можете добавить их в свой набор конфигураций, и вам все равно не нужно делать исчерпывающий проход.

Answer 4

Я бы предложил пару вещей:

• вам, вероятно, потребуется ряд устройств для внутреннего тестирования. Как уже указывалось, между каждым поколением iPod Touch / iPhone

• вы можете рассмотреть возможность использования краудсорсинга в дополнение к внутреннему тестированию. Это потенциально позволяет вам иметь большую аудиторию для тестирования ваших приложений, и любая стоимость использования краудсорсинга потенциально компенсируется тем фактом, что вы можете тратить меньше на устройства и, возможно, меньше на внутренний персонал по тестированию и в то же время потенциально создавать лучший продукт. Одна группа тестирования из краудсорсинга, не упомянутая выше, это uTest.com

Answer 5

Получить все комбинации - короткий ответ.

Я начал с iPod, но он 100 МГц быстрее, чем предыдущая модель iPhone. Мои приложения чувствительность к производительности, поэтому мне придется получить старый айфон. Я с трудом могу спросить своих бета-тестеров (добровольцы?), чтобы запустить инструмент производительности GL.