val jsonString = sc.sequenceFile[Long,String](paths).map(x => { x._2 }) Переменная paths...

Я пытаюсь соединить R и Hive (Spark). На моем рабочем столе (Windows 10, R-3.4.2) он работает...

Я кодирую ребра графа из файла val graph = GraphLoader.edgeListFile(sc, "comb.txt")...

Я пытаюсь вычислить евклидово расстояние от случайного вектора для каждой строки в кадре данных...

У меня есть как DataFrame со строковым столбцом val df=...

Я пытаюсь написать фрейм данных от spark до Elastic с пользовательским идентификатором...

Я пытаюсь вызвать API сервера искровых заданий с узла js. API, который является файлом яиц Python,...

У меня очень большой фрейм данных pyspark, и я взял образец и преобразовал его в pandas dataframe...

Я создал два фрейма данных в pyspark, как показано ниже. В этих data frames у меня есть столбец id....

Я пытаюсь обработать XML-файл, используя scala и spark. У меня есть эта схема: root |-- IdKey: long...

Я пытаюсь установить свечу зажигания mongodb. Все идет хорошо, однако, когда я запускаю искровой...

Я пытаюсь использовать sparklyr с сервера RStudio. Spark установлен в кластере, и я использую пряжу...

Я использую IntelliJ для ускорения разработки приложений Spark в Scala с использованием sbt.Я...

На это может быть очевидный ответ, но я не смог найти ничего после долгих поисков. В типичной...

Я знаю, что HDFS или S3 - наиболее предпочтительный способ выполнения контрольной точки и...

У меня есть следующая проблема: Я делаю sql-запрос по набору файлов паркета в HDFS, а затем собираю...

У меня есть датафрейм, который содержит записи, идентифицированные ключом.Но может быть случай,...

Как проверить, что файл JSON поврежден, например отсутствует {,}, запятая или неправильный тип...

Что произойдет, если для работающей Spark JOB другой процесс удалит каталог .hiveStaging? Это...

Я знаю, как сравнивать два списка в Scala, используя zip + forall. Мой вопрос: как мы сравниваем...

Я новичок в искре и улье. Мне нужно понять, что происходит за спиной при запросе таблицы улья. Я...

У меня есть список префиксов строк. Я хотел бы запросить N строк для каждого префикса. Я не могу...

Я хочу установить master , spark deploy-mode , driver-class-path и driver-java-options для задания...

Что такое концепция «параллельных коллекций» в Spark, и как эта концепция может улучшить общую...

У меня есть файл Excel с поврежденными строками вверху (3 первых ряда), который нужно пропустить, я...