У меня большой набор данных (скажем, 4 ГБ), который используется в качестве эталонного источника...

У меня есть тип данных [value: array<struct<_1:string,_2:string>>] Я хочу добавить...

В Scala оба одновременных и не одновременных набора имеют абсолютно одинаковый тип: // A regular...

Я пишу проект Spark с использованием Scala, в котором мне нужно сделать некоторые вычисления из...

У меня есть следующий масштаб, где мне нужно создать временный файл и добавить некоторое содержимое...

В качестве небольшого контекста я пытаюсь достичь нескольких строк, сгруппированных по...

Когда я запускаю в терминале: sudo spark-submit --master local --class xxx.xxxx.xxx.xxxx

Я хотел изменить имя столбца дельта-таблицы Databricks. Итак, я сделал следующее: // Read old table...

Я провел несколько тестов на своей локальной машине, и все было хорошо. Теперь я работаю в кластере...

Я использую Apache Spark 2.2 с Scala 2.11. У меня есть строка, из которой я создаю 1-граммовый,...

У меня есть rdd, как показано ниже, и я хочу суммировать сумму, которую тратит каждый пользователь...

Цель : получить ответ JSON из API поиска для доступных ключевых слов в столбце данных....

Миграция приложения из игры 2.4.3 в 2.7.0 Я использую следующие плагины. scalaVersion := "2.11

sc.parallelize((1 to 10).map(i => if(i % 2 == 0) Some(i) else null)).toDF() Эта строка...

Я создал RDD, который содержит растр DGM для определенной области и имеет crs : EPSG 32632. Я хочу...

Допустим, я использую потоки kafka (библиотека kafka-streams-scala, версия 2.2.0). Мне нужно...

Я хочу прочитать несколько файлов паркета из папки, которая также содержит некоторые другие типы...

У меня есть массив значений, как показано ниже: scala> number.take(5) res1: Array[Any] =...

У меня есть следующий код для генерации новых случайных чисел val start = 1 val end = 50000000 val...

Я должен умножить разреженную матрицу 1mill x 10k на матрицу 10k x 1 в Scala оба набора данных...

У меня есть 8 столбцов в кадре данных в искре, Name_a, status_a, date_a, ID_a, Name_b, status_b,...

У меня есть набор данных с разделителем пробелов в столбце "_raw" Мне нужно извлечь данные из этого...

Я использую библиотеку Java fabric8io для работы с Kubernetes в Scala. Я хотел бы использовать...

Я запускаю код в проекте GitHub https://github.com/shamsimam/savina и после создания файла JAR с:...

У меня есть модель xgboost, обученная на Python API, названная my_fpd20.model, теперь я хочу...