Контейнер работает за пределами виртуальной памяти. , Контейнер для убийства

Question

Текущая настройка

mysql connector version-mysql-connector-java-5.1.13
sqoop version-sqoop-1.4.6
hadoop version-hadoop-2.7.3
java version- Jdk-8u171-linux-x64/jdk1.8.0_171(oracle JDK)
OS-Ubundu

Примечание: также пробовал с openjdk, такая же проблема существует и с этой версией Команда Sqoop: bin / sqoop import -connect jdbc: mysql: // localhost: 3306 / testDb -username root -password root - таблица ученика --target-dir / user / hadoop / student -m 1 --driver com.mysql .jdbc.Driver

Answer 1

Попробуйте увеличить параллелизм маппера (в вашей команде это -m 1 параметр). Установите более высокое значение, чтобы каждый преобразователь обрабатывал меньше данных и занимал меньше памяти.
Также --split-by необходимо, если число картографов> 1.

См. Предложения о разбивке по столбцам здесь .

Желательно равномерно распределенный целочисленный столбец.