Я использую spark и scala на jdk1.8. Я новичок в Scala. Я читаю текстовый файл (pat1.txt), который...

У меня в кадре следующий фрейм данных s s_type o o_type ----------------- s1 ss1 o1 oo1 s2 ss2 o2...

Я хотел бы объявить udf, который возвращает 2 1D массива или 1 2D массив (пример обоих был бы...

Я пытаюсь изменить тип данных столбца, присутствующего в кадре данных I, который я читаю из базы...

Я новичок в Spark и Scala. Я создал DataFrame из CSV в Spark.В сгенерированном DataFrame есть...

В последнее время искра способна пробежать в кубернетес .Тем не менее, руководство пользователя в...

У меня есть следующая задача: загрузка данных из одной таблицы из нескольких схем использование...

Я хочу использовать kotlin для программирования в Spark 2.0. Я добавил jar-файлы spark и могу...

У меня есть внешняя таблица улья на hbase. Я видел в таблицах улья на паркете, нам нужно обновить...

У нас есть две таблицы, первая из которых содержит код для каждой задачи в каждом запуске.2-я...

У меня есть две большие таблицы.Я присоединяюсь к этим двум таблицам в Spark sql, как будто select...

Я пишу приложение для пакетных заданий spark, которое будет считывать данные из темы kafka и...

У меня есть набор данных временных рядов, который разделен по идентификатору и упорядочен по...

Я использую временное представление для загрузки данных Oracle в Hive с использованием Spark SQL

Я очень новичок в scala spark экосистеме, и мне интересно, как лучше всего провести модульное...

Случай 1: Когда я пытаюсь получить «b.no» с сообщением об ошибке, ниже сообщается код, а также...

У меня есть задание Spark, для которого запланировано время. Когда я записываю DataFrame результата...

У меня есть поток Spark SQL, например: dataFrame .join(anotherDataFrame, columns)

Мне интересно, почему мое задание Glue выполняется так медленно, даже если у запроса есть...

У меня есть потоковый Dataframe, который я хочу вычислить min и avg по некоторым столбцам. Вместо...

Я начал видеть следующую ошибку после развертывания некоторых изменений в SQL-запросе Spark в среде...

Я пытаюсь найти соседние вершины конкретной вершины, используя API графического фрейма, доступный в...

У меня df вот так, +----+---+ | _c0|_c1| +----+---+ |('a'| 2)| |('b'| 4)|...

У меня есть таблица cassandra со схемой ниже: > DESC customer; CREATE TABLE mykeyspace.customer...

Я видел, как DAG генерировался всякий раз, когда мы выполняли какие-либо операции с RDD, но что...