Можно ли ограничить Hadoop резервными циклами процессора? - PullRequest
2 голосов
/ 22 октября 2009

Можно ли запустить Hadoop, чтобы он использовал только свободные циклы ЦП? То есть было бы целесообразно установить Hadoop на рабочих машинах людей, чтобы можно было сократить число, когда они не используют свои ПК, и у них не будет очевидного снижения производительности (без вентиляторов!).

Возможно, это просто случай, когда JVM настроен на работу с низким приоритетом и не использует «слишком много» сети (при условии, что такое возможно на машине с Windows)?

Если нет, кто-нибудь знает какие-либо эквиваленты Java для таких вещей, как BOINC ?

Редактировать: Нашел список инфраструктуры очистки циклов здесь . Хотя мой вопрос о Hadoop остается в силе.

Ответы [ 2 ]

4 голосов
/ 22 октября 2009

Это очень далеко от предполагаемого использования Hadoop. Hadoop ожидает, что все его узлы будут полностью доступны и подключены к сети для оптимальной пропускной способности - а не то, что вы получаете с рабочими станциями. Более того, он даже не работает в Windows (вы можете использовать его с Cygwin, но я не знаю никого, кто использовал бы его для «производства» - кроме как на клиентских машинах, выполняющих задания).

Hadoop делает такие вещи, как хранение фрагментов данных на нескольких узлах и пытается планировать все вычисления с этими данными на этих узлах; в среде разделения работы это означает, что задача, для которой нужны эти данные, будет хотеть выполняться на этих трех рабочих станциях - независимо от того, что их пользователи делают в данный момент. Напротив, проекты «очистки цикла» хранят все данные в другом месте и отправляют их и задачу на любой узел, который доступен в данный момент; это позволяет им лучше относиться к машинам, но несет очевидные затраты на передачу данных.

0 голосов
/ 23 октября 2009

Возможно, Терракота - это что-то большее в твоем переулке?

Terracotta Product Link

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...