Можно ли запускать / отправлять Spark Step синхронно? Я пытаюсь запустить шаг Spark в кластере AWS...
В настоящее время я работаю над Kafka и POC для потоковой передачи искр. Версия Kafka - 0.9, а...
Я создал Dataframe из таблицы Hive и хочу получить имена полей / столбцов. >>>a=df.schema...
(проблема уже решена!) Я пытаюсь использовать «Программирующее задание схемы» (http://spark.apache
Так что я новичок в искре.Мои версии: Spark 2.1.2, Scala версия 2.11.8 (Java HotSpot (TM)...
После настройки кластера EMR в AWS есть ли способ получить информацию о пользователе, который...
Spark Job: // СЧИТЫВАНИЕ ДАННЫХ / ЗАГРУЗКА val df1 = spark.sql("select colList from...
Я пытаюсь вычислить среднее число чисел, указанных в текстовом файле на S3 с Spark на AWS EMR. Но я...
У меня есть искровые проза, который выполняет некоторые вычисления, затем выполняет вставку в...
Я новичок в Искре.У меня есть приложение, которое запускает каждый запрос spark sql, вызывая...
У меня есть недавно установленный hadoop2.8 для spark2.2.1.Он выдает spark java.lang
У меня есть папка AWS S3, в которой хранится большое количество JSON-файлов.Мне нужно ETL эти файлы...
Мне нужна помощь в следующих двух областях.(Я полагаю, у вас когда-нибудь есть) Поддерживает ли...
Я использую Spark в кластере AWS EMR.Моя настройка заключается в том, что все интересующие файлы...
Как я могу обучить модель распределенного машинного обучения на искре для каждой группы внутри...
[I 10:43:53.627 NotebookApp] 启动notebooks 在本地路径: /opt/soft/recommender/jupyter [I 10:43:53.627...
В apache spark мне удалось выполнить классификацию с помощью «mllib».Можно ли работать над...
Я пытаюсь установить начальные веса или параметры для алгоритма машинного обучения (классификации)...
В одном из наших проектов мы используем Azure SQL DB, режим аутентификации основан на маркере...
Context => Я хочу выполнить одну и ту же функцию с разными параметрами 3 раза. Проблема => однако...
При попытке запустить мой искровой сосуд с помощью spark-submit я получил ошибку.Строка, которая...
Я запускаю искровые задания в кластере AWS EMR, отправляя их с клиентского компьютера.Клиентский...
Является ли pipe.it метод Tranformation или Action , который не может запросить документацию,...
Я пытаюсь заполнить структуры данных определенного типа List несколькими исполнителями Spark Task
Do emr-DynamodB-разъем считывает данные параллельно в искре?Я проверил, что RDD, который я получаю...