ПРИМЕЧАНИЕ: я упростил мой код ниже, чтобы избежать ненужной путаницы. У меня есть фильтр черт...
Я пытаюсь использовать NetCDF-Java Library в Scala, но получил sbt.librarymanagement
У меня есть входной файл, который очень похож на CSV, но с пользовательским заголовком:...
Scala> val custdata = sc.textFile("file:///stage/Sales/lego/test/new/spark_test/testing1
Я пытаюсь преобразовать массив строк в байтовый массив в Spark и заново преобразовать массив байтов...
Я использую Spark 2.2.0 и Scala 2.11.8 в среде Spark-Shell. У меня есть фрейм данных df, и мне...
Я должен сохранить данные AWS Glue в Афине с минимальным временем. Я успешно сохранил данные AWS...
У меня есть несколько DFS, которые я хочу объединить в 1 большой DF +----+----------+----------+...
Я читаю исходный код Spark, и я не уверен, что понимаю эту строку readFunction: (PartitionedFile)...
В основном я хотел проверить, есть ли какие-либо обновленные записи в сравнении нового файла со...
Я попытался это решение, чтобы проверить, если строка в подстроке: val reg = ".*\\[CS_RES\\]
я пытаюсь получить последний токен полного пути к файлу, и мой код выглядит как val testUdf = spark
Я - новый корд Scala, у меня есть функция flatMap, которая возвращает объект FlatMappedDStream, это...
Мой UDF сравнивается, если разница во времени между двумя столбцами не превышает 5 дней. Если...
Например, у меня есть два Try объекта. Я хочу получить сообщение об ошибке, если тот или иной...
Так что вопрос в теме. Я думаю, что я не правильно понимаю работу передела. По моему мнению, когда...
Кадр входных данных val ds = Seq((1,"play framework"), (2,"spark framework"),...
Версии: "org.apache.storm" % "storm-kafka-client" % "1.2.1" "org
Я пытаюсь работать над проблемой, которая дает мне гамильтонову путь в графе. Я знаю об алгоритмах,...
Я немного новичок в Scala / функционале, поэтому еще не могу использовать технический язык. У меня...
Я пробовал решение из: Кросс-сборки SBT - выбор другой версии библиотеки для другой версии scala ,...
Я делаю курс в Coursera о функциональном программировании Scala. Я на 6 неделе. У меня есть...
У меня есть таблица с данными, и мне нужно объединить два поля. Я написал запрос, но он не работает...
Как можно преобразовать кадр данных с помощью следующего оригинальная форма:...
У меня искровой структурированный поток, как - Обратите внимание, что есть и другие столбцы, но я...