Как реализовать функциональный регрессионный тест для приложений, обрабатывающих чрезвычайно большие наборы данных? - PullRequest
0 голосов
/ 17 октября 2019

Очень большое количество приложений можно суммировать как получение начального набора данных A и преобразование его в некоторый целевой набор данных B.

Для этих приложений существует очень эффективная модель тестирования: просто сохранитьсериализованное представление известного набора данных A вместе с его желаемым преобразованным продуктом B. Затем в своем тесте удалите сериализацию A, запустите на нем приложение обработки, затем сравните свой результат с B.

Я не уверен, что у этой модели тестирования есть формальное имя;Я называю это функциональным регрессионным тестом.

Эта модель прекрасно работает, когда наборы данных A и B малы. Однако, как только они достигают очень больших размеров, эта модель становится непрактичной. Возможно, в системе недостаточно места для хранения еще 2 копий огромного набора данных. Восстановление их из сериализованной формы и полное сравнение в конце часто также нецелесообразно отнимает много времени.

Есть ли подход, чтобы снова сделать эту модель практичной для приложений с большими данными?

...