Репликация файлов / Синхронизация между несколькими сайтами с использованием BitTorrent - PullRequest
Новая
       49

Репликация файлов / Синхронизация между несколькими сайтами с использованием BitTorrent

7 голосов
/ 19 января 2011

Мне нужно построить распределенную систему, которая опирается на репликацию больших файлов между сайтами.

Я думал об использовании технологии p2p, такой как bittorrent, для экономии пропускной способности и повышения надежности.

Я ужасно неправ?

Кто-нибудь когда-нибудь проектировал такое решение?

Какие библиотеки вы рекомендуете?

Ответы [ 3 ]

4 голосов
/ 12 июня 2013

Новое перспективное решение от разработчиков BitTorrent: BitTorrent Sync .

Имеет следующие функции:

  • Неограниченно и бесплатно!
  • В настоящее время поддерживает Windows, Mac и Linux. Мобильные платформы в разработке.
  • Специально разработан для обработки больших файлов.
  • Частный и безопасный: весь трафик зашифрован.
  • Протоколы однорангового обнаружения.
  • Поддерживает ретрансляцию трафика для отключенных узлов.
3 голосов
/ 28 апреля 2011

Я только что нашел этот проект с открытым исходным кодом из Твиттера, который идеально подходит к гвоздю:

https://github.com/lg/murder

Из документов:

Убийство - это метод использования Bittorrent для распространения файлов на большое количество серверов в производственной среде. Это обеспечивает масштабируемое и быстрое развертывание в средах от сотен до десятков тысяч серверов, где централизованные системы распределения не могли бы функционировать иначе «Убийство» обычно используется для обозначения стада ворон, что в данном случае относится к группе серверов, которые что-то делают.

0 голосов
/ 08 марта 2011

Если у вас более 2 сайтов, то, пожалуй, p2p - лучшее решение IMHO.

Просто установите rtorrent , deluge или любой другой высокопроизводительный торрент-клиент накаждый сайт.Чем вы можете распространять только файлы .torrent с помощью scp / sftp и наслаждайтесь.

Чтобы защитить контент от сторонних торрент-клиентов, установите частный флаг при создании файла .torrent и используйте свой собственный трекер. opentracker - хороший выбор.

Еще один совет: если ваш торрент-клиент поддерживает режим супер-заполнения (он же BEP-16 или начальное заполнение)), включите его.Это поможет распределить контент с минимальным дублированием между узлами.

...