ArXiv репликация мозгового штурма

Question

В архиве электронной печати arXiv есть несколько терабайт статей из разных областей науки. Некоторые пользователи хотели бы хранить полную копию этих данных на своих компьютерах, в то время как другие просто хотят загрузить самые последние статьи в определенной категории. Они стремятся уменьшить нагрузку на полосу пропускания, используя какую-то систему распределенной загрузки (например, BitTorrent). Я ищу идеи для программы или набора программ, которые бы охватили все это.

Answer 1

arXiv рекомендует squid в режиме httpd ускорителя именно для этой цели. Любая конкретная причина, почему это не достаточно хорошо?

Answer 2

Полный PDF-контент находится в облаке Amazon.

при наличии> 600 тыс. Документов на arXiv, общий размер PDF <1/2 ТБ </p>

http://arxiv.org/help/bulk_data_s3

Т.

Answer 3

Моя первая идея заключается в том, что это выглядит очень похоже на группы новостей Usenet, с бесконечным постоянством сообщений на серверах. Я не знаю, насколько хорошо это работает с PDF-файлами.