Команда Pyspark переходит на новую строку

Question

почему следующий запрос, выполненный в pyspark, перемещается на следующую строку вместо выполнения текущей команды

искра 1.6 в клоудере ВМ 5.Х

Создал rdd по имени fprdd (эта команда выполнена нормально)

pair1rdd = fprdd.map (лямбда-x: (x [2], (x [0], x [1]))

Пытался даже при выборе команды Shift + Enter (тоже напрасно)

нажатие клавиши ввода переводит на новую строку

Может кто-нибудь помочь мне с возможным решением.

Answer 1

Чтобы получить ответ на этот вопрос, вы должны пройти через то, что ленивая оценка в искре.

Все преобразования в Spark ленивы, потому что они не вычисляются их результаты сразу. Вместо этого они просто помнят преобразования, примененные к некоторому базовому набору данных (например, к файлу). преобразования вычисляются только тогда, когда действие требует результата вернуться в программу драйвера. Эта конструкция позволяет Spark работать более эффективно. Например, мы можем понять, что набор данных создан Сквозная карта будет использоваться в уменьшенном виде и возвращать только результат уменьшить до драйвера, а не из большего отображенного набора данных.