У меня есть код ниже: import java.io.File import org.apache.log4j.{Level, Logger} import org.apache
def toLowerCase(str: String): String = { val lowerCase = "abcdefghijklmnopqrstuvwxyz"
Я разработчик Scala, но столкнулся с какой-то странной проблемой.когда я пытался выполнить код...
Здесь я фильтрую таблицу по 1 столбцу (keyId) и 1 значению (keyId), а тип результата -...
Предположим, у меня есть черта, определенная как trait SomeTrait[A] { def doSomething(): Seq[A] } и...
Я использую sparklauncher для запуска приложения spark.В приложении spark я вставляю данные в...
Я довольно новичок в этой теме, поэтому любая помощь будет высоко оценена. Я пытаюсь прочитать...
Мне нужно извлечь данные, разделенные табуляцией от ячейки в строке данных Я пытался использовать...
У меня есть коллекция строк строк (растений, как показано ниже) из таблицы hbase, и я хочу создать...
Предполагается, что приведенная ниже функция принимает value типа String и возвращает Option,...
Имеется простой класс case с аннотацией типа @Bar: case class Foo( field: Option[String] @Bar )...
Я пытаюсь создать новый столбец в кадре данных, используя два других значения, используя метод,...
Пусть схема моего json будет: root |-- data: array (nullable = true) | |-- element: array...
В pyspark вызов метода Java sparkContext getPersistentRDDs() возвращает экземпляр JavaObject scala
В pyspark sparkSession, с sc в качестве моего sparkContext, вызывая getRDDStorageInfo() Java...
Я использую scala для чтения числовых данных из столбцов Hbase, которые ранее заполнялись через...
С помощью spark я определил окно: val window = Window .partitionBy("myaggcol")
Можно ли преобразовать DataFrame, содержащий строки JSON, в DataFrame, содержащий типизированное...
Это json, который я получаю { "id": 21, "code": "import scala.collection
Допустим, у меня есть 2 потока kafka (библиотека kafka-streams-scala, версия 2.2.0): val builder:...
Я немного новичок в Spark и Scala. У меня есть (большой ~ 1 миллион) Scala Spark DataFrame, и мне...
У меня проблема в программе, и у меня нет этой проблемы с spark-shell. Когда я звоню: FileSystem
При написании итеративных программ распространенной ситуацией является то, что вам необходимо...
Я пытался создать Dataframe из списка кортежей в Scala, но у меня возникли проблемы.У меня есть мой...
(я новичок в Spark) Мне нужно хранить большое количество строк данных, а затем обрабатывать...