Аренда кластера - PullRequest
       20

Аренда кластера

6 голосов
/ 21 апреля 2009

Мне интересно, есть ли кластеры, доступные для аренды.

Сценарий:

У нас есть программа, которая займет, по нашим оценкам, неделю (после оптимизации) для данного файла. Вполне возможно, дольше. К сожалению, нам также нужно сделать примерно 300+ различных файлов, что приведет к примерно 300 неделям вычислительного времени (с округлением до 6 настенных часов непрерывного выполнения задания ). Для исследовательской работы, которая должна быть сделана - самое позднее - к декабрю, это просто неприемлемо. Пока мы изучаем другие варианты, я изучаю вариант простой аренды кластера Беовульф. Работа носит академический характер и приведет к получению докторской степени.

В идеале была бы компания, которая отправляет исходный файл и файлы заданий в компанию, а затем через неделю или две получает файлы результатов. Voila!

Быстрое поиск в Google не дает ничего страшного.

Предлагаемые решения?

Ответы [ 10 ]

11 голосов
/ 21 апреля 2009

Облачные вычисления звучат так, как вам нужно. Amazon, Microsoft и Google арендуют компьютерные ресурсы на платной основе.

Сервис Amazon является наиболее зрелым, и уже есть несколько вопросов об услуге Amazon, например, здесь и здесь .

5 голосов
/ 21 апреля 2009

Я не знаю, где вы делаете докторскую степень ... В большинстве азиатских, европейских и североамериканских университетов есть несколько кластеров. Вы можете

  • встретиться непосредственно с людьми в лаборатории, которая отвечает за кластер.
  • попросите директора PhD договориться об этом. Возможно, у него / нее есть друзья, которые справятся с этим.

Кроме того, классический прием заключается в использовании неиспользуемого времени компьютеров вашей лаборатории / университета ... По сути, на каждом компьютере запускается клиентское приложение, которое обрабатывает числа, когда компьютер не используется. Смотри http://boinc.berkeley.edu/

5 голосов
/ 21 апреля 2009

Amazon EC2 (Elastic Compute Cloud) звучит именно так, как вы ищете. Вы можете подписаться на одну или несколько виртуальных машин (до 20 автоматически, больше, если вы запрашиваете разрешение ), начиная с $ 0,10 в час за ВМ, плюс расходы на пропускную способность (бесплатно между машинами EC 2 и Amazon другие веб-сервисы ). Вы можете выбирать между несколькими операционными системами (различные дистрибутивы Linux, OpenSolaris, Windows, если вы доплачиваете), и вы можете использовать уже существующие образы машин или создавать свои собственные. Если вы используете все программное обеспечение с открытым исходным кодом и не имеете больших затрат на пропускную способность, похоже, что выполнение вашей работы обойдется вам примерно в 5000 долларов (если предположить, что 6 лет вычислительного времени для вас были сопоставимы с их небольшими экземплярами, с одним виртуальным процессором).

Как только вы зарегистрируетесь в службе и настроите их инструменты , довольно просто запустить новые виртуальные машины. Я даже потратил $ 0,10, чтобы запустить компьютер на несколько минут, просто чтобы проверить ответ, который я давал кому-то здесь, на StackOverflow; Я хотел что-то проверить в Solaris, поэтому я просто загрузил экземпляр и в течение 5 минут получил виртуальную машину Solaris.

1 голос
/ 27 июня 2012

Или вы можете арендовать процессорное время у частного провайдера.
Я из Словении, и, например, здесь у нас есть замечательный частный провайдер под названием Arctur. Ребята были полезными и отзывчивыми, когда я связался с ними.

Вы можете найти их здесь: hpc.arctur.net

1 голос
/ 06 мая 2011

Есть несколько способов получить время на кластерах.

  1. Время покупки на Амазонке эластичное облако. В зависимости от того, насколько вы знакомы с их службой, может потребоваться время, чтобы настроить ее так, как вы хотите.
  2. Подойдите к университету и посмотрите, есть ли у них коммерческая программа, чтобы сдавать компании время в аренду. Я знаю, что некоторые делают. Особенно мне известна программа частного сектора в NCSA при UIUC. В зависимости от организации, они также предлагают услугу портирования и оптимизации для вашего кода.
1 голос
/ 25 мая 2009
  • Для академического / научного использования существует несколько общественных центров, предлагающих возможность высокопроизводительных вычислений. В Европе есть DEISA. http://www.deisa.eu/ и члены DEISA. Должны быть аналогичные возможности в США, вероятно, через NSF.

  • Для коммерческого использования ознакомьтесь с предложениями IBM Deep Computing On Demand. http://www -03.ibm.com / системы / deepcomputing / COD /

1 голос
/ 29 апреля 2009

Поток был переполнен указателями на Amazon EC2 - и это правильно. Они самые зрелые в этой области. Недавно они выпустили свою упругую платформу сокращения карт, которая звучит похоже (хотя и не совсем), как то, что вы пытаетесь сделать. Google не подходит для вас, поскольку их вычислительная модель не поддерживает необходимую вам универсальную вычислительную модель.

1 голос
/ 21 апреля 2009

Этот вывод может оказаться полезным:

http://lcic.org/vendors.html

И это фантастический ресурс сайта по этому вопросу:

http://www.hpcwire.com

0 голосов
/ 22 августа 2013

Перейти к: http://www.extremefactory.com/index.php Истинный кластер HPC, до 200 TFlops.

0 голосов
/ 21 апреля 2009

Один из вариантов - арендовать виртуальные ресурсы, эквивалентные любому количеству компьютеров, которые вам нужны, и настроить их в качестве кластера, используя Amazon Elastic Compute Cloud .

Настройка кластера Беовульф из них вполне возможна.

Проверьте эту ссылку , которая предоставляет ресурсы и программное обеспечение именно для этого.

...