Я прочитал, что всякий раз, когда клиенту необходимо создать файл в HDFS (распределенная файловая система Hadoop), размер файла клиента должен составлять 64 МБ.
Не могли бы вы предоставить ссылку на то же самое? Файл любого размера может быть помещен в HDFS. Файл разбит на блоки размером 64 МБ (по умолчанию) и сохранен на разных узлах данных в кластере.
Можем ли мы загрузить файл, который будет использоваться только для справки для обработки другого файла, и он должен быть доступен для всех датоданов?
Не имеет значения, находится ли блок или файл на определенном узле данных или на всех узлах данных. Узлы данных могут получать данные друг от друга, если они являются частью кластера.
Представьте HDFS как очень большой жесткий диск и напишите код для чтения / записи данных из HDFS. Hadoop позаботится о внутренних функциях, таких как «чтение из» или «запись» в несколько узлов данных, если это необходимо.
Предложил бы прочитать следующее 1 2 3 на HDFS, особенно 2-й, который является комиксом на HDFS.