Я пытаюсь импортировать таблицу из MySQL через Sqoop Import Job, но моя работа не выполняется с...
Мне нужно перенести код с PySpark 1.3 на 2.3 (также только на Python 2.7), и у меня есть следующее...
Гея!Я сталкиваюсь с ошибкой FileNotFound на pycharm при запуске этого кода: import findspark...
У меня есть кластер HDFS с активными и Stanby Namenodes.Иногда, когда кластер перезапускается,...
Я использую distcp (для пакетных данных), чтобы получить данные из S3. Но по данным сайта sqoop мы...
Я не фанат HDFS, но, исходя из традиционного опыта работы с RDMS, я начинаю царапать новые...
У меня есть NFS, смонтированный на моем HDFS-узле, и я могу получить к нему доступ для передачи...
Это мой первый вопрос о переполнении стека, поэтому прошу прощения за любые ошибки !! Я с...
Можно ли передать несколько аргументов в URL, используя webhdfs, например, как показано ниже?...
Я реализовал hadoop на 2 кластерах, но я не могу запустить TaskTracker & DataNode & jobTracker,...
Как Hive переводит запрос: SELECT * FROM table или SELECT column1, column2 FROM table на то, что он...
Как я могу перенести zip-файл с URL-адреса в HDFS с помощью Java? Я не должен загружать это. Я могу...
Я новичок в эхо-системе для больших данных, но у меня хорошие знания SQL, и я работал только с...
Я пытаюсь использовать sqoop для экспорта таблицы оракула в таблицу улья: sqoop import --connect...
Я хочу провести анализ производительности моей честной конфигурации планировщика, и я нашел этот...
У меня есть файл паркета, хранящийся в hdfs, который называется small in path: / user / s / file
Я пытаюсь выполнить несколько операций fs.rename между каталогами после записи в первый кадр...
Я хочу использовать Hadoop.К сожалению, я не могу получить доступ к логину Ambari.Как мне это...
Я создаю приложение с почти 65 миллионами записей в день.Команда боролась с Mysql, Мария DB.И это...
У меня есть Spark и Hadoop кластер, которые были построены с Docker Swarm.Они идентифицируются в...
Я поместил инструкции log.info внутри своей UDF, но в кластере происходит сбой.Местные работают...
При запуске hbase выдает ошибку: client.RpcRetryingCallerImpl: not online on bynear1,16020...
Сколько соединений будет создано между spark и hdfs при вызове sc.textFile ("hdfs: // .....").Файл...
Я пишу пользовательский SerDe и буду использовать его только для десериализации.Базовые данные -...
Ниже мои версии для всего <spark.version>2.3.1</spark.version> <scala.version>2