Будет ли иметь смысл развертывание HBase / HDFS с сетевыми интерфейсами 100 Мбит / с?

Question

Я предполагаю, что сетевой интерфейс со скоростью 100 Мбит / с станет узким местом для HDFS и снизит скорость HBase (максимальная скорость уплотнения около 10 МБ / с и т. Д.).Будет ли это развертывание иметь смысл?

Я думаю, что «сейчас», когда SSD входит в игру, даже сетевые помехи 1 Гбит / с все еще могут быть узким местом, поэтому, возможно, создание кластера со скоростью 100 Мбит / с никогда не следует принимать во внимание (даже для HDD)

Answer 1

Сеть

100 МБ вряд ли будет хорошей настройкой для кластера hadoop, вы можете посмотреть презентацию cisco от Hadoop World для некоторого анализа использования сети. Тем не менее, в зависимости от вашей фактической нагрузки и размера кластера, он может быть работоспособным - хотя вы можете убедиться, что вам действительно нужен Hadoop, если это так.

в отношении твердотельных накопителей они стоят дороже на МБ, и в зависимости от вашей нагрузки на запись вам, возможно, придется заменить их раньше, чем на жестких дисках, но они сэкономят вам электроэнергию - я полагаю, их использование в большом кластере не будет экономически эффективным не знаю никого, кто сделал) Вы можете использовать SSD для некоторых дисков, например, для временного пространства в кластере (например, отображение / уменьшение промежуточных результатов) для получения преимуществ ввода-вывода

Answer 2

Для краткости:
Вы должны никогда использовать SSD в HDFS, эти флэш-памяти имеют ограниченное количество записей.HDFS имеет много записей, в основном из-за репликации.Если вы используете HBase в качестве базы данных NoSQL, это приведет к еще большему количеству записей.
Узкие места - это, как вы сказали, жесткий диск и сеть.Сеть является еще более узким местом, поскольку вы распределяете данные, поэтому их необходимо реплицировать, и если вы выполняете задания, их можно скопировать, если данные не доступны локально (редукторам приходится копировать много материала).
Так что вы должны определенно для лучшей сети, чем 10 Мбит или 100 Мбит.Это подразумевает ваш коммутатор и сетевые адаптеры на узлах.

HDD-рейд не приведет к увеличению пропускной способности при записи, есть несколько тестов, подтверждающих этоВзгляните на HDFS Wiki, она должна быть там описана.

Answer 3

Будет ли ваша сеть узким местом, зависит от видов выполняемых вами заданий.Если вы выполняете обработку текста (например, запускаете Stanford NER или пакет coreference), то сеть со скоростью 100 Мбит / с будет наименьшей из ваших проблем.Однако, если вы выполняете много интенсивной обработки ввода-вывода (большинство заданий с большими шагами сокращения), тогда это произойдет.Как всегда, это зависит от вашей рабочей нагрузки.Но я думаю, что можно с уверенностью сказать, что 100-мегабайтная сеть является наиболее вероятной причиной узкого места, учитывая недавние процессоры и узлы с несколькими дисками.