Файловый сервер распределенного кеширования

Question

У нас очень большой файловый сервер (HTTP и / или FTP). Некоторые файлы затем используются примерно 5 системами. Например, система A будет использовать файлы A и B. Тогда система B будет использовать файлы A и C.

Существуют ли приложения, предпочтительно бесплатные или с открытым исходным кодом, которые могут кэшировать эти обычно используемые файлы внутри системы?

Я ищу альтернативы Squid. Спасибо.

Answer 1

Если мы говорим о хранении файлов в сотнях мегабайт, то Hadoop будет моим рекомендуемым выбором для решения этой проблемы. Но, по мнению сообщества, Hadoop не очень подходит для файлов в КБ или <200-300 МБ. </p>

Для таких случаев наиболее рекомендуется HBase, построенный на Hadoop. Комбо обеспечивает высокую доступность и масштабируемость одновременно. Но, говоря так, настройка Hadoop может быть больше, чем хотелось бы, например размер кластера разработки / тестирования составляет , рекомендуется , чтобы он состоял из 4 ~ 5 серверов, а минимальная производственная среда - более 10 серверов.

Эффективной альтернативой веб-кешу squid является Varnish .

Answer 2

Вы смотрели на Hadoop ? Я не использовал это сам, но, кажется, делает именно то, что вы хотите.