У меня есть DF, как показано ниже, мне нужно преобразовать его в подкадры данных без использования...
У меня есть датафрейм из БД val listvaluesDF = spark.sqlContext.read.format("jdbc")
В данном DataFrame я бы хотел сгруппировать только несколько строк и сохранить остальные строки в...
Я новичок с Spark, и это библиотека! У меня есть случай, когда мне нужно отправить набор данных на...
Мне нужно объединить два набора данных временных рядов (слева и справа). Я должен рассмотреть все...
Фрейм данных имеет 3 миллиона записей. Я пытаюсь переместить только дубликаты записей в отдельный...
Мы написали пакетное приложение для искры (версия Spark: 2.3.0). Код выглядит следующим образом....
Я применяю функцию lag к столбцу в моем фрейме данных. Столбец, к которому применяется функция lag,...
Я загружаю цены акций на конец дня для более чем 20 000 глобальных ценных бумаг на 20 различных...
Я застрял при работе со столами улья с использованием искрового кластера (пряжа на месте)У меня...
data.select([count(when(isnan(c), c)).alias(c) for c in data.columns]).show() Это код, который я...
Допустим, у меня есть данные - клики (1) означают то, что пользователи нажимали на отображаемую...
В моем DataFrame Employees я хочу заменить нулевые значения в столбце комиссии на определенное...
Предположим, у меня есть объект Spark Scala DataFrame, например: +--------+ |col1 | +--------+ |1 |...
Я не в курсе политики запуска исполнителя в спарк. Я запустил работу spark, используя автономный...
Используя scala-spark, я прочитал таблицу в postgres и сформировал фрейм данных: locationDF,...
У меня есть фрагмент кода JavaScript (который является UDF), мне нужна помощь в преобразовании кода...
Я пытался посчитать уникальный столбец b для каждого c, не делая group by. Я знаю, что это можно...
Я пытался записать фрейм данных искры в таблицу Hive ACID, используя Hive Data Хранилище данных...
Я читал некоторые ресурсы, утверждая, что операции чтения Spark обычно ленивы. Но я выполнил...
Могу ли я обновить таблицу Teradata из среды cloudera, используя версию spark 1.7. ? Спасибо, Дипак...
У меня есть в Scala / Spark: myDataframe .orderBy("date") .write .csv(...) Генерируемые...
У меня есть таблица улья, где я пытаюсь alter table tablename change col1 col1 <newdatatype>,...
У меня есть Apache PySpark Dataframe, подобный следующему (дата yyyy-mm-dd) | ID | is_test | date |...
Мне нужно написать сложную Пользовательскую функцию (UDF) , которая принимает несколько столбцов в...