ID транзакции | Сумма | Дата | КОММЕНТАРИЙ 1 | 200 | 14/11/18 | Доставлено 2 | 300 | 14/11/18 | В...
У меня есть сценарий использования, где мне нужно объединить 2 фрейма данных. Представление...
Что означают (1), (6) и (3) в следующем выводе explain.Версия Spark 2.3.1.
Моя проблема заключается в следующем: Table 1 ID1 ID2 1 2 3 4 Table 2 C1 VALUE 1 London 4 Texas...
Я применяю тип данных для каждого column во фрейме данных, как показано ниже...
У меня ~ 250 папок.Каждая папка в день.Каждая папка содержит 24 паркетных файла.Мне нужно прочитать...
У меня есть два следующих запроса в Hive, чтобы получить какой-то конкретный результат. select *...
Я пытаюсь найти минимум, максимум каждого поля, полученного из оператора sql, и записать его в файл...
Я новичок в теме потоковой передачи.Таким образом, возникает проблема при расчете различного числа...
У меня есть фрейм данных «емкость»: scala> sql("create table capacity (id String, capacity...
Возникла проблема при чтении файла test2.csv в pyspark. Тестовый файл test1.csv a1^b1^c1^d1^e1...
В моем искровом коде я собираю небольшой объект в драйвере из кадра данных.Я вижу следующее...
Я либо не знаю, что я ищу, либо отсутствует документация. Последнее, кажется, имеет место, учитывая...
Pyspark: Можно ли установить / изменить длину столбца кадра данных искры при записи DF в целевой...
У меня есть скрипт Hive Query, и я хотел запустить его в режиме командной строки в Unix. Есть ли...
В структурированной потоковой передаче Spark, когда входящая запись из S3 не совпадает со схемой,...
PMML, Mleap, PFA в настоящее время поддерживают только преобразования на основе строк.Ни один из...
Я пытаюсь отфильтровать столбец данных, прочитанный из Oracle, как показано ниже import org.apache
Я использую HDP 2.6.4 и вижу огромные различия в Spark SQL и Hive на TeZ.Вот простой запрос к...
У меня есть следующий тестовый запрос Spark SQL: Seq("france").toDF
Я пытаюсь создать универсальную функцию для чтения CSV-файла, используя базы данных CSV READER. Но...
В моем Spark ML Pipeline (Spark 2.3.0) я использую RegexTokenizer следующим образом: val...
У меня ниже 2 примеров SQL-запросов в SQL: a) update DBTABLE1 set col1 = 'Yes' where ID...
Я хочу посчитать количество пропущенных значений в каждой строке фрейма данных в режиме искры scala...
У меня есть столбец «особенности», который является вектором.Есть ли способ преобразовать этот...