Как получить размер директории hdfs используя spark

Question

Не знаю точно, как начать, но в моем случае я пытаюсь получить размер моего HDFS-каталога с помощью Scala, кто-то может помочь здесь?

Я собираюсь достичь этого шага,но не знаете, что мне делать отсюда?

val fi = hdfs.listStatus(new Path("/path/path")
fi.foreach(x=> println(x.getPath))

Answer 1

Это дает вам FileStatus экземпляр.

val fi = hdfs.listStatus(new Path("/path/path")

Вы можете вызвать getBlockSize для FileStatus.

Ниже приведен документированный метод в классе

/**
   * Get the block size of the file.
   * @return the number of bytes
   */
  public long getBlockSize() {
    return blocksize;
  }