Следующая команда генерируется инструментом ETL talend 6.4.1.
Команда объединить все файлы работала нормально все эти дни.
вдруг эта команда выполняется бесконечно.
Общий размер объединяемых файлов - 80 ГБ.
Пожалуйста, помогите найти основную причину.
Мы используем apache spark HDinsight
версия 2.1.1.2.6.2.3-1
OpenJDK 64-битная серверная виртуальная машина, 1.8.0_171
org.talend.hadoop.fs.FileUtil.copyMerge(fs,
sourceDirPath_tFileOutputDelimited_2, fs,
targetFilePath_tFileOutputDelimited_2, true, job, null,
headerByteCount_tFileOutputDelimited_2);