Если есть искровой кластер с рабочими узлами, скажем, x GB памяти, и есть 5 таких рабочих узлов,...

Я пытаюсь понять уровень локальности кластера Spark и его связь с количеством разделов RDD вместе с...

Я установил Hive, и он правильно выполняет основные запросы, но застревает для запросов, таких как...

Я хочу настроить свой искровой кластер на AWS EMR, и я не могу изменить значение по умолчанию spark

Я пытался установить Hadoop на macOS.Я могу запустить hdfs через ./start-dfs.sh, но ./start-yarn.sh...

Я получил небольшой кластер из 5 компьютеров на базе Hadoop / YARN и Spark сверху.Я хочу выполнить...

Я использую мультитенантное решение, размещенное в EMR, в котором работает Spark Cluster. Многие...

Я запускаю конвейер для обработки моих данных в Spark.Кажется, что мои Исполнители время от времени...

Согласно [ Spark на менеджере ресурсов YARN: отношение между контейнерами YARN и исполнителями...

Чтобы получить список IP-адресов подчиненных узлов emr, необходимо выполнить следующий код: yarn...

Я использую искровой кластер, где я сталкиваюсь с OutOfMemory в программе драйвера.но после того,...

в настоящее время я использую огромный spark streaming application (который читает и пишет в kafka)...

Я настроил кластер hadoop2 и могу отправить пример задания wordcount с помощью команды hadoop jar....

Я успешно установил один узел Hadoop и Hbase .Я использую Java-агент для подключения к Hbase.После...

Я запускаю два hiveql с простым предложением выбора.Когда файлы hiveql предоставлены для работы, я...

У нас есть спарк на кластере пряжи, и я пытался создать спаркконтекст в режиме клиента из...

Я перевожу существующие конвейеры с версии 1.6.0 на версию 2.1.0 (cdh 5.15.1). Версия oozie,...

Я хочу запустить hadoop в Intellij IDEA из исходного кода, и я запустил hdfs, запустив основные...

У меня есть куча заданий SQOOP, которые я хотел бы запустить через EMR add-step.Мой существующий...

В hadoop2 есть сервис временной шкалы, используемый для пряжи, а также сервер истории MRV2, так в...

Я проверил много постов здесь, но не могу найти правильный ответ на свой вопрос. На самом деле я не...

Мой кластер Hadoop в настоящее время имеет 4 узла и 45 ядер, на которых запущен pyspark 2.4 через...

Когда я запускаю Apache Kylin на Hadoop, я встретил следующую ошибку, связанную с Hadoop MapReduce:...

Текущая настройка у нас есть наш кластер обнаружения из 10 узлов. Каждый узел этого кластера имеет...

В нашем кластере минимальный размер контейнера равен 8 ГБ. большинство запросов улья используют 1...