У меня есть CSV-файл с именем и значением в качестве моего столбца.Оба в строковом формате. dummy

Получение этой ошибки при выполнении запроса в spark SQL SELECT a.aid,(SELECT CONCAT (CASE WHEN...

Я использую аналитическое приложение spark и читаю таблицу MSSQL Server (всю таблицу) напрямую,...

Я хочу обновить элементы MutableList, который был объявлен вне цикла for, значениями из фрейма...

У меня есть фрейм данных: val df = Seq( ("q1", "a1", 0.31, "food"),...

Я новичок в Spark 2.4 с Java 8. Мне нужна помощь.Вот пример экземпляров: Источник DataFrame...

Эксперты, у меня есть список столбцов, которые мне нужно использовать для выражения соединения при...

Я использую spark-sql 2.4.1, spark-cassandra-connector_2.11-2.4.1.jar и java8.У меня есть сценарий,...

Я использую spark.reader.csv("path.csv") для загрузки и анализа CSV.Однако мои файлы...

Я работаю над группировкой адресов, где есть несколько типов адресов, но мне нужно сгруппировать их...

У меня есть исходные данные в s3, и мое приложение spark / scala прочитает эти данные и запишет их...

Мы периодически сталкиваемся с ошибкой в ​​искре 2.4 при сохранении управляемой таблицы от искры....

Я знаю, что в StackOverflow опубликовано много ответов на один и тот же вопрос, но я не получаю...

У меня есть столбец, который содержит строку со следующей датой в виде строки Sat Sep 14 09:54:30...

Я хочу разделить мой фрейм данных (df) на основе столбца (SECURITY_ID) и затем запустить df

Работает с классическим SQL: spark.sql( s"INSERT INTO mydb.myT (id,x) VALUES ($id...

Я экспериментирую с памятью, используемой искровым фреймом данных, созданным из файла CSV и файла...

Я пытаюсь сохранить искровой фрейм данных в виде текстового файла.При этом мне нужно иметь...

Есть ли у нас повторная конфигурация для Spark-SQL? У нас есть «spark.yarn.maxAppAttempts» для...

У меня есть Dataframe: ID | program | --------|-----------| 53-8975 | null | 53-9875 | null |...

Как мне преобразовать этот оператор SQL в Spark SQL? replace_old_engagements_sql =...

Ниже приведен пример фрейма данных, я хочу разделить его на несколько фреймов данных или rdd на...

Используя Spark 2.4 и Hive 3.1.0 в HDP 3.1, я пытаюсь прочитать управляемую таблицу из куста с...

Я пытаюсь использовать: org.apache.spark.sql.functions date_format для форматирования заданной...

У меня есть требование, когда мне нужно запустить SQL-запрос, получить выходные данные и записать...