Разделение искры. Размер раздела - PullRequest
0 голосов
/ 15 мая 2018

Я пытаюсь понять, как работает разделение в искрах для записей пары NON KEY VALUE.Команды следующие:

val FileRDD= sc.textFile("hdfs://nameservice1:8020/apps/file/outbound/terms/processed/HDFC_outbound/HDFC_EXTRACT_604/HDFC_RBI_20180205.dat");

Размер файла составляет 512 байт.Я также не настроил разделы, partitioner = NONE.Когда я даю команду FileRDD.partitions.size, я получаю 2 раздела.Хотелось бы понять, как там два раздела.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...