У меня возникла проблема, когда при повторном запуске задания потоковой передачи, если выходной...
/ Что я пытаюсь / Я хочу выполнить преобразование Spark UDF для нескольких блоков HDFS, содержащих...
Я хочу спросить о количестве разделов улья и о том, как они повлияют на производительность....
У меня есть следующие строки в моем bash-скрипте, чтобы исправить реплицированные файлы в HDFS...
Допустим, у нас есть внешнее Has Metastore, а затем у нас есть группа кластеров Hadoop (HDInsight),...
Вот некоторые следующие данные, которые я получил от счетчиков Hadoop. Первый - с объединителем,...
Мы установили новый кластер Hadoop со следующими подробностями (мы перешли на redhat 7.5 вместо 7
Я новичок в свиноводстве. Я не знаю, правильно ли я поступаю или нет, пожалуйста, помогите мне....
У меня есть hadoop3.1.2 с кустом 3.1.2 на win10, проблема в том, что всякий раз, когда я использую...
Я столкнулся с проблемой при попытке запустить параллельные задания Spark Streaming на EMR. YARN...
Я создаю SparkSession в Trait, и объект-компаньон расширяет эту особенность. SparkSessionObject
При установке hadoop в ubuntu-16.04 я получил hdadmin@ubuntu:~/hadoop-2.5.0-cdh5.3.2$ bin/hdfs...
У меня есть пакетное задание Spark, которое читает некоторые файлы json, записывает их в Hive, а...
У меня возникают трудности при получении куста для обнаружения разделов, созданных в HDFS Вот...
Я пытаюсь прочитать JSON-файл в мой алгоритм map-reduce hadoop. Как я могу это сделать? Я поместил...
Предположим, что у нас есть файл с именем details.txt со следующими данными 421,Rajiv,Reddy,21...
мы хотим скопировать локальные файлы в HDFS пример su hdfs -c 'hadoop fs -put -f...
как быстро найти указанное значение в hbase? Я пробовал использовать фильтр ниже вместе с...
Я хочу экспортировать результат моего запроса по электронной почте в Hive / Hadoop.
Я пытаюсь отправить потоковые данные, прочитанные из Kafka, принять и преобразовать, а затем...
Я выполняю 100 запросов (тестовых случаев), чтобы проверить качество данных в Spark Scala. Я...
Как получить метаданные таблицы в PySpark В Scala API мы можем использовать приведенный ниже...
Я попытался скопировать 400+ ГБ и еще одно задание distcp с размером данных 35,6 ГБ, но на...
Я использую Hive (2.1.1) hook, как показано ниже: set hive.exec.post.hooks=com.test
48,Snacks that Power Up Weight Loss,Aidan B. Prince,[[Health&Fitness,Travel],[dance,singing]] 99...