Я установил Apache Spark на моем компьютере с Windows и пытаюсь отправить задание pyspark в...
Назначение - сохранить пользовательский журнал из потокового приложения в каталог HDFS или UNIX для...
Мы работаем в режиме клиента mesos.У нас также есть сервер истории искр.События журнала Spark...
Как повысить отказоустойчивость пряжи?В занятом кластере моя работа терпит неудачу из-за слишком...
Я использую локальный экземпляр Spark через пакет sparklyr R на 64-ядерном компьютере с 64G RAM....
Я знаю, что могу использовать %pyspark df = sqlContext.sql('select * from train_table') И...
У меня есть искровой код, который определяет схему с 950+ столбцами.Это что-то вроде ниже val...
У меня есть требование, в котором мне нужно показать агрегированное количество определенной...
Итак, у меня есть строка искры x (тип: org.apache.spark.sql.Row), и я хочу преобразовать ее в...
У меня есть приложение для структурированной потоковой передачи, использующее сообщения из кафки
Мне нужно обучить StreamingKMeans с определенным значением для семени.Когда я запускаю val km = new...
Я в растерянности на данный момент.Я пытаюсь запустить PySpark / SparkR на Apache HUE 4.3,...
В упорядоченном наборе данных я хочу агрегировать данные до тех пор, пока не будет выполнено...
У меня проблема с приложением Spark.Вот упрощенная версия моего кода: def main(args: Array[String])...
Я пытаюсь объединить данные с помощью Spark Streaming.Мои данные не имеют столбца метки времени,...
Я пытаюсь загрузить фрейм данных в таблицу Hive, выполнив следующие действия: Считайте исходную...
Возьмите предложение: «Это искра апача».Я хочу иметь возможность преобразовывать каждое слово в...
У меня есть набор данных с одним столбцом lastModified типа строка с форматом " гггг-мм-ддтчч: мм:...
В моем Spark DataDrame есть столбец даты, который содержит несколько строковых форматов даты (это...
Мы рассматриваем возможность использования Spark Structured Streaming в проекте.Вход и выход -...
Я хочу переставить несколько столбцов в таблице Spark SQL Я нашел это решение только для двух...
Я очень запутался, потому что столкнулся со странной ситуацией.Мое приложение spark считывает...
В моем текущем сценарии;Нифи собирает данные, затем отправляет в Кафку.Тогда любой потоковый движок...
Источником является CSV-файл: id,sale,date 1,100,201901 1,105,201902 1,107,201904 1,108,201905 2,10...
Итак, я тренирую xgboost с настройкой гиперпараметра.Итак, мой фрагмент кода выглядит примерно так:...