У меня есть: Большой кадр данных (формат паркета, 100 000 000 строк, размер 4,5 ТБ), содержащий...
Я очень новичок в Apache Spark.Я пытаюсь настроить систему Windows 8.Я сделал следующее: Скачал...
У меня есть такой код: .repartition( 10 ) .rdd.mapPartitions( it => MyProcessor.process(it) )
У меня есть список строк типа, который содержит несколько элементов в форме [Cid:0001,Jid:439,java...
Я пытаюсь запустить этот пример Spark в InteliJ. Однако компилятор жалуется на ключевое слово...
Я пытаюсь запустить основной класс в проекте scala-sbt.Запуск класса приводит к ошибке...
У меня есть база данных MySQL с ~ 20M записями (и растущими), распределенными в некоторых таблицах
У меня есть кейс класса final case class FieldStateData( job_id: String = null, job_base_step_id:...
Я пытаюсь получить последний файл из s3 за последние 10 дней, когда на входе нет файла.Проблема в...
Я пытаюсь прочитать файл, используя spark.sparkContext.textFile. Файл в кодировке Юникод. когда я...
У меня есть этот скрипт PySpark: from pyspark.sql import HiveContext from pyspark.sql import...
недавно я пытаюсь применить dbscan-on-spark от https://github.com/irvingc/dbscan-on-spark я...
Я использую DSE Analytics для анализа данных, 4 сервера EC2 m5ad.xlarge (4 ядра и 16 ГБ ОЗУ, 3...
Я пытаюсь прочитать инкрементные данные из моего источника данных, используя Scala-Spark.Прежде чем...
Мне нужно перенести данные (включая изображения) из РСУБД в Azure Data Lake путем преобразования в...
Я пытаюсь использовать DecisionTreeClassifier.train (), но появляется сообщение об ошибке: Ошибка:...
Моя исходная структура данных содержит собственные ссылки, которые не поддерживаются искрой:...
Я пытаюсь установить Apache Ambari на Linux Mint. Установка успешно завершена, но когда я пытаюсь...
как я могу исключить слова, содержащие цифры, когда делаю это в Scala новейшая версия Scala val...
У меня есть большая коллекция Mongo, которую я хочу использовать в своем приложении Spark,...
Мне нужно извлечь содержимое зашифрованного CSV-файла (включая заголовок) в набор данных. Каков...
Я работаю над проектом Scala / Spark, я хотел бы экспортировать свой проект в файл jar и запустить...
Я хочу настроить свой искровой кластер на AWS EMR, и я не могу изменить значение по умолчанию spark
Я новичок в Spark Scala и запускаю код на кластере EMR.Мои данные содержат как категориальные, так...
Я конвертирую один формат данных в другой.Во время этого преобразования мне нужно проанализировать...