Всякий раз, когда приложение Stream Streaming пытается передать смещение Кафке, оно становится...
У меня есть три столбца в моем фрейме данных. В этом втором и третьем являются логические поля. Я...
У меня есть данные с ненужными пробелами и значениями Null в моем CSV-файле.Я загрузил этот файл в...
Я хотел бы разделить СДР на количество разделов, соответствующее количеству различных ключей,...
Я ищу какую-то верхнюю границу для общего параметра T, который гарантирует, что T является...
Предположим, у меня есть функция runConcurrently(f1: Int => Int, f2: Int => Int): (Int, Int),...
Мне нужно разбить следующее на несколько токенов в кадре данных Spark Scala. Я не использовал...
Я выполняю агрегацию в кадре данных для расчета процента. Мне нужно хранить сумму каждого столбца в...
У меня есть целый мир данных некоторого варианта использования.Каждая страна содержит от 3 до 5...
Предположим, что для справки доступны следующие функции sealed trait List[+A] case object Nil...
Я использую spark-структурированную потоковую передачу в качестве потребителя для получения данных...
Я хочу сгруппировать набор данных временных рядов по отметке времени, где каждая строка в данной...
Я пытался написать примеры модульных тестов для класса, который неявно принимает контекст субъекта...
У меня есть структура коллекции, как показано ниже.Мне нужно построить оператор, основанный на k, v...
У нас есть две InputDStream из двух тем Кафки, но мы должны объединить данные этих двух входов...
Я читаю данные, поступающие с Kafka (100 000 строк в секунду), используя структурированную...
У меня есть фрейм данных в следующем формате. ID | Value 1 | AAA 2 | XXX 3 | BBB 1 | XXX 2 | CCC 3...
Как мы можем сгенерировать уникальный идентификатор сеанса для данных потока кликов, используя...
Я пытаюсь создать zip-файл, используя игровую среду, для этого я использую Enumerator.outputstream,...
Попытка создать пакет с классом package x.y.Log import scala.collection.mutable.ListBuffer import...
Я пытаюсь преобразовать список карт (Seq [Map [String, Map [String, String]]) в таблицу / кортеж...
Ниже моя функция искры, которая прямо вперед def doubleToRound(df:DataFrame...
У меня есть структура пакета, аналогичная приведенной ниже; myapplication/ ├── my-library/ │ └──...
Я пытаюсь использовать scala / spark для анализа файлов журнала http (488 файлов в одном каталоге)...
У меня есть DataFrame в spark, который выглядит следующим образом: +------+-----+-----+-----+ |...