Какой протокол я должен использовать для обмена файлами между несколькими узлами?

Question

У меня есть несколько узлов.Узел - это просто сервер Linux или Windows.Также у меня есть один мастер-узел.Главный узел является менеджером процесса обмена файлами.

На этих изображениях показан процесс связи:

Итак, я пытаюсь выбрать какой-то протокол для этой системы., который я могу реализовать (или просто использовать некоторые существующие реализации).Мне нужен протокол обмена файлами.Я имею в виду проверку контрольной суммы, управление пропускной способностью интернета, управление процессом обмена данными.

Файл - это просто двоичные данные.Размер файла составляет примерно 1-10 МБ.Количество файлов в системе составляет примерно 1 миллион.90% всех запросов - это запросы на запись.

Answer 1

Веб-серверы предназначены для обслуживания файлов (среди прочего).

Я бы порекомендовал вам использовать протокол http и использовать https://golang.org/pkg/net/http/#FileServer, для настройки которого требуется всего несколько строк кода.

Если вам нужна защищенная передача, используйте также https.доступно с FileServer: https://golang.org/pkg/net/http/#ListenAndServeTLS