U-SQL Python первоначальное снижение производительности? - PullRequest
0 голосов
/ 17 октября 2018

У меня есть два идентичных задания, обрабатывающих 1000 строк, где каждая строка имеет 3 числовых столбца, и я использую редуктор для вывода 1 столбца с жестко заданным значением (просто как очень простой тест).

Последовательно получаюобщее время выполнения около 15-20 минут для задания Python и около 1 минуты для задания C #.На графике заданий Python у меня есть дополнительный шаг, названный, например, «Процесс SV16», где время выполнения близко к общему времени выполнения.

Я предполагаю, что ADLA нужно раскрутить виртуальную машину с python, а затем выполнить код.Кто-нибудь может подтвердить?

ОБНОВЛЕНИЕ: Когда я запускаю всего несколько строк (например, 5), задание Python выполняется без большой задержки (так почти сразу).Я предполагаю, что есть какая-то эвристика, запускающая инициализацию виртуальной машины.

...