В API свечей: column.like("only takes a static string with optional wildcards like %")...

Ребята, у меня есть этот фрейм данных...

Я пишу пользовательский источник данных, который преобразует ответ, отправленный моим вызовом rest,...

Я пишу большой набор данных в формате Parquet в HDFS с использованием Spark, и в EMR он работает...

Все подчиненные узлы в кластере пряжи отслеживают блоки в hdfs blk_1073742325_1505.meta....

У меня есть набор данных Spark, в одном из столбцов которого в данных столбца присутствует символ...

Как создать схему, DataFrame и загрузить 2-3 строки образцов данных, которые вписываются в эту...

Необходимо проверить, являются ли сообщения о событиях, отправленные на Kafka, действительными,...

Среда: Spark 2.3.0, Scala 2.11.12, Kafka (Какая бы ни была последняя версия) У меня есть безопасная...

Если в теме kakfa имеется более одного раздела, в java эти экземпляры / потоки потребителя будут...

У меня есть сценарий в моем проекте, где я читаю сообщения темы kafka, используя версию spark-sql-2

Я использую Apache Beam 2.4.0 с Spark Streaming 2.3.1, чтобы просто прочитать тему kafka и написать...

Во время работы Spark 1.6 мой SparkAppHandle работал нормально. Но после обновления до Spark 2.3...

Я пытаюсь уменьшить значение spark.memory.storageFraction в коде так: sparkSession = (SparkSession

Я хочу прервать свою работу с потоковым воспроизведением, когда в течение определенного времени нет...

С учетом данных кадра Spark: val data = Seq( (1, 1, "A"), (1, 2, "A"), (1, 3,...

Это мой текстовый файл, входящий в программу: Id Title Copy B2002010 gyh 1 D2001001 abc 12 M2003005...

У меня есть таблица PySpark, где многие столбцы имеют тип VectorUDT. Эти столбцы были созданы с...

Я новичок в Maven и Spark, и я хотел бы немного поиграть с ними обоими.Я на OSx, поэтому я...

У меня есть датафрейм в Spark с именем столбца и датами. И я хотел бы найти все непрерывные...

В моих исходных данных у меня нет ни одного столбца категории, по которому я могу сгруппировать...

Я хочу создать микросервис с использованием пружинной загрузки, который сможет предоставлять...

У меня есть DataFrame с идентификаторами документов doc_id, идентификаторами строк для набора строк...

В моей программе spark у меня есть этот код: val df = spark.readStream .format("kafka")

Я очень новичок в Spark и Cassandra, получил один образец от GitHub и попытался запустить...