Какой эффективный способ сделать нечеткие объединения в PySpark? Я ищу мнения сообщества о...

** Любые оптимизации производительности доступны для декартовых объединений. Элемент списка **

Когда я записываю каждую строку моего сложного RDD, я не получаю значения. Как я могу увидеть эти...

Я получаю дубликаты при объединении двух фреймов данных, где один ключ является десятичным, а...

Привет, у меня есть 2 свечи данных. Первый:...

Spark BroadcastJoin намекнул не вещание, как ожидалось (Spark 2.3) У меня есть 2 кадра, скажем, a &...

У меня есть SQL-запрос, который обновляет table как Update table set a.Column1 = b.Column1, a

Мне нужно сделать левое соединение между основным фреймом данных и несколькими опорными фреймами,...

Я хочу иметь условие гибкого соединения, которое можно передать, например, в виде строки (или...

Я пытаюсь присоединиться к набору данных куба с перекрестным набором данных, как показано ниже,...

У нас есть большая таблица клиентов с 7 миллионами записей, и мы пытаемся обработать некоторые...

Я пытаюсь присоединиться к следующим 2 фреймам данных: val df1 = Seq( ("Verizon",...

Я хотел бы проверить пользовательский ввод по белому списку доступных типов соединения Spark. Есть...

У меня есть RDD (данные) со следующими элементами: first_name, last_name, technology...

Мне интересно, можем ли мы заставить Spark использовать пользовательский ключ разделения во время...

У меня есть два набора данных, и я присоединяюсь к ним следующим образом, используя java...

Я недавно сталкивался с Spark bucketby / clusterteredby здесь . Я пытался имитировать это для...

СЦЕНАРИЙ Я пытаюсь написать программу Spark, которая эффективно выполняет левое внешнее соединение...

У меня есть 2 кадра данных, которые мне нужно объединить.Есть 2 столбца, к которым мы...

Привет, я новичок в использовании scala.У меня есть два разных файла, которые я уже создал две...

Получено несколько файлов данных, которые принадлежат разным неделям - все файлы одного формата.Мне...

У меня есть два набора данных: itemname itemId coupons A 1 true A 2 false itemname purchases B 10 A...

У меня есть два набора данных, и я хотел бы объединить таблицы, если элемент столбца содержит...

У меня есть 2 кадра данных, к которым я хотел бы присоединиться. DF1: root |-- myStruct: struct...

У меня есть два больших фрейма данных с примерно несколькими миллионами записей в каждом. val df1 =...