Я читал в Интернете, что Scala быстрее, чем Python, например, здесь . Я также видел сравнение между различными интерфейсами, которое пришло к выводу, что R был настолько медленным, что тестер прекратил попытки измерить его производительность ( здесь ; хотя это было специально для тестирования пользовательских функций и можетне использовал пакет sparklyr).
Я также знаю, что sparklyr теперь имеет интеграцию arrow, что привело к повышению производительности пользовательских функций, а также к копированию данных в / из кластера. , как показано здесь .
Мой вопрос: насколько быстро sparklyr по сравнению с Python / Scala? Меня больше всего интересуют стандартные «внеthe-box 'функции, но также было бы интересно узнать, как он складывается для пользовательских функций теперь, когда arrow был интегрирован. И есть ли особые обстоятельства, при которых он работает хорошо или плохо?
Я спрашиваю, потому что я создал приложение в sparklyr, которое работает медленнее, чем я ожидал, несмотря на множество попыток настройки параметров, и ямне интересно, если это отчасти из-за ограничений в пакете.