Может ли Apache Hadoop HDFS помочь ускорить загрузку больших файлов (через веб-браузер) на сервер?

Question

Как я понимаю, Hadoop HDFS не может увеличить скорость сети, но я обсуждал с несколькими людьми, которые пытались придумать, как мы можем значительно ускорить загрузку, и кто-то сказал, что они смогли значительно улучшитьскорость загрузки с использованием HDFS.

Если пользователь находится в локальной сети (100 МБ / с), есть ли возможность использовать Hadoop HDFS для увеличения скорости загрузки, когда пользователь загружает большой файл> 100 ГБ с помощью своего браузера?

Answer 1

Веб-браузер и веб-сервер сами по себе станут узким местом.Они должны буферизовать файл на этом сервере, а затем загрузить его в HDFS, по сравнению с тем, как работает прямая программа записи данных с hadoop fs -copyFromLocal

HUE (которая использует WebHDFS), иЯ не думаю, что есть простой способ для потоковой передачи такого большого размера файла через HTTP, существующий в HDFS, если только вы не можете выполнять частичную загрузку, и как только вы это сделаете, у вас будет несколько меньших файлов в HDFS, а не исходные 100.+ ГБ один (при условии, что вы не пытаетесь добавить к той же ссылке на файл в HDFS)