У меня есть этот код в pyspark / python: n -> число чисел нового списка n = 2 new tuple ( x, y, z )...
У меня есть PySpark RDD . Я хочу исключить дубликаты только тогда, когда "столбец 1" и "столбец 2"...
Я поместил текстовый файл с именем Linecount2.txt в hdfs и построил простой rdd для подсчета...
Я выполняю запрос диапазона в СДР точек (x, y) в pyspark. Я разделил пространство xy на сетку 16 *...
Мои данные выглядят так: id | duration | action1 | action2 | ......
Я читал о узких и широких зависимостях СДР, разделенных на несколько частей. Мой вопрос: я не...
Я хотел бы взять каждую строку моего кадра данных Spark и обработать данные через микросервис,...
Я хотел бы преобразовать RDD, содержащий записи строк, как показано ниже, в фрейм данных Spark....
Я работаю с PySpark, используя фабрику mixin двух классов Но каждый раз, когда функция карты...
У меня следующий код: - val result = session.execute("Select * from table where imei=...
У меня есть два RDD - один из файловой системы hdfs, а другой создан из строки, как показано ниже -...
У меня есть информация о пользователях в СДР: (Id:10, Name:bla, Adress:50, ...) И у меня есть еще...
На самом деле я использую искру и кассандру для выполнения некоторых заданий. Я хотел бы...
У меня есть RDD (называемый «данными»), где каждая строка представляет собой пару id / vector,...
Я новичок в RDD и графиках и вычисляю кратчайший путь в графике с помощью Pregel. Я хочу...
Есть ли способ эффективно разделить пространственное СДР в GeoSpark? например: разделы со многими...
То, что я пытаюсь сделать, - это «перепробовать» небольшой CSV-файл со столбцом значения веса в...
У меня есть особое требование для денормализации данных, как показано ниже: Исходный кадр данных:...
Нужна помощь в сортировке по ключу после вывода groupByKey: val skuRDD2:RDD[(String...
Как мне создать СДР из файла CSV, у которого нет заголовка, и как мне объединить 2 СДР в столбце....
Я пытаюсь использовать функцию createSataframe для sparksession, и я продолжаю получать сообщение...
Я пытаюсь изменить мой JavaRDD из String на JavaRDD из Row.На шаге я меняю строку на строку