Я пытаюсь скопировать файл, находящийся в одной из папок HDFS, в другую папку HDFS.
Общий необработанный размер файла составляет ~ 1 ГБ, а реплицированный размер ~ 3 ГБ.
Несмотря на то, что это не очень большой размер данных с точки зрения возможностей кластера hadoop, я получаю следующую ошибку:
Исключение в потоке "main" java.lang.OutOfMemoryError: пространство кучи Java
Команда копирования, которую я использовал:
hadoop fs -cp /dev/hive/warehouse/Student_Details /test/hive/warehouse/Student_Details
В исходной папке много маленьких файлов. Является ли это причиной проблемы с пространством кучи случайно? И есть идеи, как решить эту проблему?