Некоторые файлы в вашей таблице не имеют разделителя записей новой строки или каким-то образом не соответствуют схеме таблицы (проверьте также FIELDS TERMINATED BY, возможно, это неправильно указано в таблице DDL).
Вы можете проверить журналы отслеживания заданий, чтобы найти обработанное имя файла.
Исключение java.io.IOException: Too many bytes before newline: 2147483648
- это потому, что максимальный размер строки: 2^31-1 = 2147483647