Я читаю кучу журналов, которые выглядят примерно так: id type amt 0 A 100 1 B 200 2 A 100 3 A 300 4...
Итак, я пытаюсь настроить log4j в своем коде scala. Это то, что я до сих пор: LogHelper.scala...
с учетом этого блока кода def return_pid(_): yield os.getpid() spark = SparkSession.builder
Итак, я пытаюсь создать чрезвычайно простую записную книжку spark, используя блоки данных Azure, и...
Моя цель - прочитать несколько строк из большого каталога hdfs, я использую spark2.2. Этот каталог...
Я использую Zeppelin, а df - это DataFrame искры.Я пытаюсь отфильтровать NaN, которые могут...
Мне любопытно, есть ли существенная разница в производительности между использованием схем,...
У меня есть CSV-файл из двух строковых столбцов (термин, код).Столбец кода имеет специальный формат...
У меня есть датафрейм df1, как показано ниже со схемой: scala> df1.printSchema root |--...
Я использую mongodb / mongo-hadoop (https://github
Мы используем Spark 2.2.0 и Mesos для управления ресурсами. Недавно для Spark, представивших...
Я использую 'Hive on Spark' с hive v2.3.3, а Spark v2.0.0 работает в автономном режиме с искрой без...
У меня есть одна таблица Hive: hive> describe stock_quote; OK tickerid string tradeday string...
Мой использованный код выглядит так: (просто простое соединение) tbl(sc, 'dez') %>%...
Я пытаюсь отладить Spark Application в локальном кластере, используя главный и рабочий узлы.Я...
Бизнес-кейс: Мне нужно сохранить массив / список объектов для определенного ключа строки.Например,...
Позвольте мне объяснить на примере, чего я хочу достичь. Начиная с DataFrame следующим образом: val...
Я пытаюсь разорвать строку (технически строки, переданные из столбца в кадре данных) и вернуть эти...
Общая цель того, чего я пытаюсь достичь, - это отправка модели Keras каждому работнику искры, чтобы...
Я хочу запустить программу ApacheCamel-ApacheSpark, где по маршруту Camel принимает сообщение от...
Я ищу функцию со следующей подписью: bind[A, B](f: A => Dataset[B], ds: Dataset[A]): Dataset[A]...
Я использую спарк 1.6.2. Может ли кто-нибудь предоставить мне схему для createDataFrame(rdd,schema)
Я новичок, пытающийся профилировать местную искровую работу. Вот команда, которую я пытаюсь...