Создание базового хранилища данных с hive2, установленным через Ambari 2.7.3.0 (hortonworks DP).Я выбираю следующие услуги: HDFS, YARN + MapReduce2, Tez, Hive, Pig, Sqoop, Oozie, Zookeeper, Ambari Metrics & SmartSense (Амбари заставил меня выбрать эти последние 2)
Все эти службы работают в одном экземпляре aws ec2 t2.xlarge (4vCPU, 16 ГБ ОЗУ).
Проблема заключается в том, что при извлечении 10 строк из таблицы удаленной базы данных MySQL возникает ошибка со следующей ошибкой:
19/02/21 12:14:16 INFO mapreduce.Job: Running job: job_1550749363487_0002
19/02/21 12:14:23 INFO mapreduce.Job: Job job_1550749363487_0002 running in uber mode : false
19/02/21 12:14:23 INFO mapreduce.Job: map 0% reduce 0%
19/02/21 12:14:34 INFO mapreduce.Job: Job job_1550749363487_0002 failed with state FAILED due to: Application application_1550749363487_0002 failed 2 times due to AM Container for appattempt_1550749363487_0002_000002 exited with exitCode: -104
Failing this attempt.Diagnostics: [2019-02-21 12:14:34.012]Container [pid=9602,containerID=container_e05_1550749363487_0002_02_000001] is running 78503936B beyond the 'PHYSICAL' memory limit. Current usage: 244.9 MB of 170 MB physical memory used; 1.8 GB of 357.0 MB virtual memory used. Killing container.
Учтите, что я новичок в Ambari и hortonworks
Я установил Ambari Wizard и ничего не изменил, что мне нужно для запуска основных командных прерываний Sqoop-Hiveиз, но не ограничиваясь:
- Настройка конфигурации
- Необходимые ресурсы
Обновление
Выполнение команды
sqoop import --query="SELECT user_id,name,username,password,salt from user WHERE \$CONDITIONS LIMIT 10" --connect jdbc:mysql://aaddr/db--username="uSername" --password="qwerty" --hive-import --create-hive-table --hive-table sales_ods.user --target-dir /user --split-by user_id --delete-target-dir -m 1