На ноутбуке Zeppelin, с работающим интерпретатором spark / scala, я пытаюсь выполнить простейшую...

У меня есть dataframe с полями from_date и to_date: (2017-01-10 2017-01-14) (2017-01-03 2017-01-13)...

Я пытаюсь проверить, является ли тема, переданная моему методу "start stream", допустимой / уже...

Я нахожусь на Ubuntu 18.04 и установил sbt, используя обычный apt-get install sbt, и пока он...

Я работаю в SCALA и унаследовал код, использующий org.joda.time.DateTime объекты. Как я могу...

Я много читал о случаях, когда следует использовать Optional. На многих страницах, которые я...

У меня есть два файла ниже: file1 0000003 杉山______ 26 F 0000005 崎村______ 50 F 0000007 梶川______ 42 F...

Я должен посчитать повторяющиеся значения в массиве val arr = Array(1,2,2,3,4,5,5,5) Например, как...

Я пару раз оказывался в ситуации, когда у меня есть редуктор / комбайн fn примерно так: def...

Я пытаюсь неявно преобразовать List[(Int, String)] в List[(IntWrap, String)], что приводит к ошибке...

Ниже приведена моя Spark-функция, которая обрабатывает пустые значения в столбце DataFrame...

Я пытаюсь написать вспомогательную функцию, которая получает набор данных любого типа Dataset[_] и...

Я использовал приведенный ниже код для извлечения необходимых мне строк в Spark SQL.Но теперь я...

Я реализую тестовый класс на Java с библиотекой Algebird для вычисления HyperLogLog. Эта библиотека...

У меня есть датафрейм, в котором есть несколько столбцов с данными даты. Я хочу применить проверку...

Я хотел бы сначала извиниться, если это не правильный способ задать вопрос, но это мой первый. У...

Я пишу приложение для предварительной обработки, которое, помимо других преобразований и действий,...

у меня есть val: val key: RDD[String]= Seq("0000005","0000001"...

Я не могу отправить работу Spark через spark-submit в EMR. Моя искра-отправка выглядит так - sudo...

Я только начинаю со Scala и следую инструкциям по началу работы.Вторая часть инструкции включает...

Для моего обучения я использовал приведенный ниже примерный набор данных....

Пожалуйста, обратитесь к моему примеру кода ниже: sampleDf -> мой примерный фрейм данных Scala,...

Я работаю над проектами Scala 2.12.x и Slick 3.3.0, и у меня есть периодический случай...

Я пытаюсь запустить какой-нибудь скала-код в python 3 с помощью ноутбука jupyter. Я установил...

У меня проблемы с получением значения из строки JSON с использованием регулярного выражения в искре