У меня есть код ниже.Из сообщения в блоге: http://www.sparktutorials
В настоящее время я могу записать в базу данных размером 500 пакетов. Но из-за ошибки нехватки...
Я пытался заставить этот код работать часами: val spark = SparkSession.builder()
Мне трудно понять, что такое аппаратная поддержка для оператора synchronized и связанных с ним...
Я только что обновил спарк 2.1.0 до спар 2.2.1.Кто-нибудь видел крайне медленное поведение на...
Я слежу за учебником по искровому смещению, чтобы прочитать из красного смещения в искру (блоки...
Следующий код вызывает исключение, вызванное: java.lang.UnsupportedOperationException: fieldIndex...
Я использую Flink локально на моей машине, я получаю исключение ниже при чтении из темы Кафки.при...
У меня есть математическое моделирование, написанное на языке scala (случайные числа, небольшие...
Я пытаюсь подключиться к каталогу хранилища Hive с помощью Spark на IntelliJ, который расположен по...
У меня ~ 250 папок.Каждая папка в день.Каждая папка содержит 24 паркетных файла.Мне нужно прочитать...
Если я просто использую Option для понимания, все идет так, как ожидалось: val a = Some(1) val b =...
Входной файл: ___DATE___ 2018-11-16T06:3937 Linux hortonworks 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri...
Этот код, который работает в Scala 2.11, не работает в 2.12: import scala.reflect.runtime.universe...
Я использую Mockito со ScalaTest.Рассмотрим этот упрощенный пример. Класс кейса модели: case class...
В настоящее время моей целью является взаимодействие с БД с использованием подхода CRUD.Между...
Я хочу вызвать все параметры из BeamConfig.scala в другом классе scala.Параметры, хранящиеся в...
У меня есть файл AA.zip, который снова содержит несколько файлов для ex aa.tar.gz, bb.tar.gz и т. Д
У меня есть фрейм данных «емкость»: scala> sql("create table capacity (id String, capacity...
Я пробовал сопоставление с образцом на внутренней черте, но, похоже, это невозможно.Это также...
У меня есть файл json, в котором есть два типа данных для хранения и онлайн. Но типы данных...
У меня есть искровой СДР, как показано ниже (maths,60) (english,65) (english,77) (maths,23) (maths...
В настоящее время наш проект находится на MR, и мы используем Oozie для организации наших рабочих...
Я новичок в scala и пытаюсь создать из пары Tuple RDD типа Array (Array [String]), который выглядит...
Мой столбец col1 является массивом. Я знаю, что col1.getItem(2) позволяет получить доступ ко...