Как разделить файл HDFS, используя Scala

Question

У меня есть один файл в папке HDFS перед загрузкой этого файла непосредственно в мою таблицу Hive. Я хочу разбить этот файл, а затем загрузить его как отдельные файлы. Я пишу код ниже в моем scala перед загрузкой.

      import sys.process._
      var File_name="FileLocation/Filename"
     "split -n5  $File_name" !
     "hadoop fs -rm  $File_name"!

, но получаю ошибку как.

    warning: there was one feature warning; re-run with -feature for details
    split: cannot open ‘$File_name’ for reading: No such file or directory.

Может кто-нибудь, пожалуйста, подскажите мне, как я могу это реализовать.

Answer 1

Это может быть проблема с разрешениями, вы пробовали это?

hdfs dfs -ls <file path>

, чтобы увидеть разрешения, а затем

hdfs dfs -chmod xxx <file path>

, чтобы изменить разрешения для файла

Я надеюсь, что это даст вам некоторые подсказки.

С уважением.

Answer 2

Я думаю, что вам не хватает s

s"split -n5  $File_name" !
s"hadoop fs -rm  $File_name" !