Допустим, у меня есть следующий фрейм данных: /* +---------+--------+----------+--------+ |a |b | c...
Как Spark структурированная потоковая передача сообщает приемнику, что новая строка является...
У меня есть два массива / набор данных. scala> data1.collect res2: Array[Array[Double]] =...
У меня есть DataFrame pyspark, выполнив приведенный ниже код. Я сохраняю Dataframe в заданном пути....
Я пытаюсь сохранить в файл .csv результат запроса, выполненного с использованием SQL и Parquet, из...
Нужна помощь, пожалуйста. Я использую IntelliJ с SBT для сборки своих приложений. Я работаю над...
У меня есть данные типа Decimal (38,16) в РСУБД.Я импортирую эти данные в HDFS (Hadoop) в формате...
Я немного сбит с толку тем, как настраиваемые разделители (RDD) действительно применяются в...
В GraphX AggregateMessages API class Graph[VD, ED] { def aggregateMessages[Msg: ClassTag](...
Чтобы заставить Spark (spark-2.3.0-bin-without-hadoop) работать с YARN на HDFS, я понизил Hadoop до...
Я пытаюсь создать свою собственную функцию scala UserDefinedAggregateFunction для простой программы...
Используя фрейм данных Spark, я выполняю операцию groupBy, чтобы собрать все значения, связанные с...
При работе с наборами данных в Spark нам необходимо указать кодировщики для сериализации и...
У меня есть датафрейм с 5 столбцами.Теперь мне нужно получить максимум минут для каждой категории...
Я пытаюсь сохранить модель обучения в S3 из моего автономного кластера Spark.Но у меня есть эта...
У меня есть набор данных с датой, учетной записью и значением. Я хочу преобразовать набор данных в...
Я пытаюсь прочитать существующие файлы паркета из hdfs, используя spark sql для моего POC, но при...
Я могу установить Apache spark с заданным набором команд на ubuntu 16 : dpkg -i scala-2.12.1.deb...
Я хочу преобразовать фрейм данных в массив Json, используя Java и Spark версии 1.6, для которых я...
Вот шаги: scala> val df = sql("select * from table") df: org.apache.spark.sql
В целях тестирования я хочу подключиться к экземпляру MongoDB docker к Spark с помощью разъема...
У меня есть фрейм данных +-----+----+----------+------------+----------+------------+ |empId| lId|...
У меня есть папка с множеством паркетных файлов, имена которых следующие:...
У меня есть фрейм данных Spark (1.4), где данные в столбце похожи на "1-2-3-4-5-6-7-8-9-10-11-12".Я...
Я пытаюсь преобразовать CSV в AVRO, используя API Spark, как показано ниже: 1) читать файлы CSV,...