Мы пытаемся создать набор интеграционных тестов с использованием JUnit. Наш конвейер (построенный в...
У меня есть искровой фрейм данных, который мне нужно преобразовать в (key, value) пар. ниже...
Я пытаюсь обучить модель XgBoost с помощью Spark DataFrame, который выглядит следующим образом:...
Я работаю над известным набором данных yelp с данными о бизнесе, пользователях и обзорах. Моя цель...
Я создал функцию, которая принимает строку в качестве входных данных и дает строку в качестве...
В отличие от python, где пропущенное значение обрабатывается внутри алгоритмом XGBoost, при...
Я успешно установил pyspark, используя anaconda, и настроил пути в файле .bashrc. После ввода...
Вот моя ситуация: Apache spark версия 2.4.4 Hadoop версия 2.7.4 Фляга моего приложения находится в...
Я пытался настроить ноутбук Jupyter и ядро Pyspark. Я на самом деле новичок в этом и Ubuntu OS....
Я использую SPARK Java API, чтобы прочитать текстовый файл, преобразовать его в JSON, а затем...
Я совершенно новичок в Apache Spark. Я должен переписать некоторые процессы ETL, используя Apache...
Я хочу получить отдельные значения и соответствующие им значения для каждого столбца кадра данных и...
У меня есть 9 файлов паркета, которые содержат 2 столбца (идентификатор, функции) и несколько строк
Я должен использовать функцию поиска, чтобы извлечь значения из информационного кадра, используя...
У меня есть простое приложение pyspark, которое запущено, но я хочу запустить его распространяемое...
Идея: вместо вывода совокупности данных в листе подгоните к этим данным линейную регрессионную...
Существует один файл размером 60 ГБ и 200 000 000 строк. Полезная нагрузка файла показана ниже....
Очень просто прочитать стандартный файл CSV , например: val t = spark.read.format("csv")
В настоящее время у меня установлена версия Spark 2.0.2. Мы хотим обновить версию Apache Spark 2
Я пытаюсь запустить задания склеивания AWS, используя конечную точку разработки, и сталкиваюсь с...
В соответствии с документацией spark , свойства, установленные в приложении с помощью SparkConf,...
В частности, мне нужна платформа с открытым исходным кодом, которая поддерживает мою модель для...
Можно ли извлечь DAG со всеми ее компонентами (этапами и задачами) без выполнения или запуска...
Для кэшированного фрейма данных, разбитого на разделы и отсортированного по разделам, я получаю...
Я использую Spark-Streaming в своем приложении SpringBoot. Я сталкиваюсь с ошибкой при выполнении...