Я пытаюсь запустить pyspark с Jupyter Lab параметрами (встроенными) следующим образом....

У меня есть 1000 файлов паркета, и я хочу, чтобы один исполнитель работал с каждым файлом на...

Получил следующий фрагмент кода pyspark: import pyspark.sql.functions as F null_or_unknown_count =...

В моей системе pyspark я запускаю приложение с картой / уменьшить поток: sc.map(mapper)

У меня есть столбец электронной почты в кадре данных, и я хочу заменить его часть звездочками. Я не...

У меня есть набор данных, содержащий 42 объекта и 1 метку. Я хочу применить метод выбора хи-квадрат...

Я написал пользовательскую функцию, которая будет находить большинство вхождений слов из файла .txt

Я пытаюсь использовать Pandas "apply" внутри распараллеленного кода, но "apply" вообще не работает....

Я успешно настроил ядро ​​PySpark в ноутбуке jupyter, я также установил SparkMagic. Когда я пытаюсь...

Я пытаюсь загрузить локальный файл на главном узле EMR в Spark и запустить ноутбук Jupyter. Я...

Я работал над автономным искровым кластером, который имеет 760 ГБ общей памяти и 200 ядер из 25...

Я пытаюсь загрузить данные с сервера MS SQL, используя pyspark в Jupyter Notebook. Spark...

Я получаю сообщение Py4JJavaError, когда читаю несколько многострочных файлов JSON из папки....

Я и используя ядро ​​PySpark ноутбука jupyter, я успешно выбрал ядро ​​PySpark, но получаю...

\ Я пытаюсь обучить несколько моделей Keras параллельно, используя Apache Spark и Elephas. Вот код...

Я прохожу онлайн-курс по Apache PySpark с использованием ноутбуков Jupyter. Чтобы легко открыть...

Я загрузил текстовый файл и применил преобразование (фильтр), но не получил ожидаемый результат