Я работаю над многомодульным проектом Maven, который имеет межмодульные зависимости. Например: один...

У меня работает 5-разрядная искра в рабочем состоянии Node1: Worker Node2: Worker Node3: Worker...

Я пытаюсь загрузить данные из Google BigQuery в Spark, работающий на Google Dataproc (я использую...

Ошибка при подключении SQL Server к Spark Scala. Исключение в потоке "main" java.lang

У меня проблема в Zeppelin, когда я пытаюсь создать чтение кадра данных непосредственно из таблицы...

Мне нужно перенести оператор sql в приведенном ниже формате на spark. Пожалуйста, дайте мне знать...

Я пытаюсь передать Spark SQL DataFrame на SQL Server в Azure SQL . Я хочу, чтобы эта таблица...

Я тестирую приложение spark с maven, в то время как при использовании отказоустойчивого плагина...

У меня есть СДР, содержащий 10000 URL-адресов для извлечения. list =...

Я использую Python в рамках Pyspark.Я пытаюсь применить различные агрегации к разным столбцам,...

Я использую spark-sql 2.4.1, spark-cassandra-connector_2.11-2.4.1.jar и java8.У меня есть сценарий,...

У меня есть искровой фрейм данных, который выбирает данные из таблицы кустов cloudera, с примерно 4...

Я получаю события от Кафки, обогащаю / фильтрую / трансформирую их в Spark и затем сохраняю их в ES

У меня есть словарь, подобный этому dict = { "ColA": "A", "ColB":...

У меня есть искровое задание, которое запускает файл с кодом ниже.Однако на этом этапе создайте...

Я пытаюсь прочитать паркетный файл с S3 и продолжаю получать ошибки.Нет проблем при записи файла...

Я новичок в Spark 2.4 с Java 8. Мне нужна помощь.Вот пример экземпляров: Источник DataFrame...

Я пытаюсь записать фрейм данных в S3 из EMR-Spark, и я наблюдаю очень медленное время записи, когда...

Я пытаюсь использовать SageMaker Python SDK с PySpark на ноутбуке EMR (Jupyter).При попытке...

у нас есть HadonWorks кластер Hadoop с версией спарк - 2.3.0 (на основе HDP 2.6.5), с платформой...

Я пытаюсь добавить следующее в качестве этапа к моему конвейеру, и я получаю сообщение об ошибке,...

Есть похожие сообщения в Переполнении стека для того же вопроса, но ни одного в Java Spark...

Короче говоря, я использовал для запуска части кода pyspark в оболочке pyspark с настройками по...

Я работаю над группировкой адресов, где есть несколько типов адресов, но мне нужно сгруппировать их...

Я пытаюсь сгладить данные в СДР.СДР структурирован как список из 4-х кортежей с первым элементом -...