Я использую Paramiko для тестирования команд докера из внешней системы (мне нужно сделать это, я не...
Я установил кластер AWS EMR, который включает в себя spark 2.3.2, hive 2.3.3 и hbase 1.4.7.Как...
(я новичок в Spark) Мне нужно хранить большое количество строк данных, а затем обрабатывать...
Я пытался выполнять потоковую передачу и пакетирование из одной и той же дельта-таблицы, но...
Я новичок в использовании Databricks и пытаюсь проверить правильность непрерывной загрузки...
Я пытаюсь загрузить данные из таблицы Excel в таблицу кустов. Выдает ошибку ниже
Я пытаюсь применить функцию к каждой строке Spark DataFrame, как в примере. val df = sc
У меня возникает следующая проблема: при печати выполненного плана я не могу просмотреть все...
Я пытаюсь сохранить информацию о значении null в столбце после применения преобразования...
Я использую spark-cassandra-connector. Необходим для извлечения данных из таблицы оракулов. У меня...
У меня есть RDD [String] с этой формой: VAR1,VAR2,VAR3,VAR4, ... a , b , c , d , ... e , f , g , h ...
У меня есть датафрейм с тремя столбцами; ID, CO_ID и DATA, где столбец DATA имеет две разные схемы,...
Я новичок в Apache Spark и мне нужна помощь.Может кто-нибудь сказать, как правильно объединить...
Планировщик емкости YARN может ставить в очередь задания на основе приоритета и тому подобное и...
Я пытаюсь выбрать все элементы, присутствующие в foo, но не присутствующие в баре.Я использую этот...
Я относительно новичок в Pyspark.У меня есть RDD, составленный из списка кортежей.Я хотел бы...
У меня довольно большой файл Parquet, который я загружаю с помощью file = spark.read
Я пытаюсь сделать API Rest с помощью Akka. Одна из точек входа вернет данные из моей базы данных...
Я хочу упорядочить по времени некоторые авро-файлы, полученные из HDFS. Схема моих файлов avro:...
Чем переворачивающееся окно в 5 секунд при обработке потока отличается от микропакета в 5 секунд...
Я читаю csv-файл, используя scala для заполнения набора данных, и там я сталкиваюсь с проблемой...
Я пытаюсь добавить featureD в виде массива Double в Vectors.dense функцию, но получаю эту ошибку:...
Как запустить искру в режиме без головы?В настоящее время я выполняю спарк на HDP 2.6.4 (т.е. 2.2...
Я пытаюсь отладить код от разработчика, который больше не работает в организации, использующей...
Я пытаюсь прочитать очень большой графический файл, который имеет формат: 1 2,3 3,2,1 7,4,3 4,3,4,6...