Как я могу передать список значений в SingleColumnFilter для сканирования и запроса hbase? val...
У меня есть искровой фрейм с 40+ столбцами. и миллионы строк. Я хочу создать еще один столбец, в...
Я хочу запустить модульный тест с именем TestEnterNumbers.scala для следующего класса. Я попытался...
У меня есть протокол JSON, написанный в спрей trait MyJsonProtocol { //some logic } object...
Теперь у меня есть данные в искровом фрейме данных, я хочу преобразовать их обратно в SQL, чтобы...
Я искал другие ответы, связанные с этим вопросом, но они не помогли. Я пытаюсь добавить столбец в...
Зачем нам нужен PySpark, если написанные на Python скрипты можно запускать в стандартном Spark? Я...
Вот пример из книги Scala с кошками : object Ex { import cats.data.Validated type FormData =...
В Scala я пытаюсь создать следующую вещь. У меня есть иерархия Config объектов. У меня сейчас около...
Ввод: class Number(changeNum: ChangeNum, 32) Выход: changeNum = 32.0 Каждый раз, когда вызывается...
Обычно пользовательские идентификаторы создаются следующим образом: case class CustomID(value: Int)...
Еще один вопрос «задача не сериализуема». Извините, новичок в Scala и Spark, так немного изо всех...
В следующем коде я пытаюсь прочитать файл CSV, расположенный в dataFile, используя TextIO Beam и...
Я пытаюсь подключиться и читать с Kafka (2.1) на моем локальном компьютере, в оболочке scala,...
Я могу получить структуру моего вложенного JSON, используя: df.schema Я получаю это:...
Итак, во время тестирования я получаю это сообщение об ошибке: org.apache.spark.sql
Ниже фрагмент кода работает нормально. (Чтение CSV, Чтение паркета и объединение друг с другом)...
Как правильно использовать кэш LRU в памяти в приложении scala, которое работает по искровому...
У меня есть следующий объект в Scala: List[(String,Map[String, Seq[(Int, Double)]])] И я хотел бы...
Я пытаюсь изучить Scala и стараюсь придерживаться неизменного принципа при создании объектов. У...
Чтобы освоить implicits в scala, я попытался воспроизвести пример таблицы из выступления Мартина...
Я использую эту реализацию очереди с ограниченным приоритетом, https://gist.github
В Функциональное программирование в Scala , автор просит выразить FoldRight через FoldLeft.И тогда...
Я новичок в программировании Scala / Spark, и мне нужно сохранить DataFrame в виде файла XML, я...
Я пытаюсь создать большой случайный набор данных искры. По сути, я хочу начать с 2018-12-01...