Несколько ключевых вопросов:
- Рассмотрим локальный испытательный стенд для некоторых целей и подумайте, действительно ли для данного теста требуется EC2.Если на самом деле так сложно использовать 2-4 машины в качестве тестового стенда для Hadoop, то есть другая проблема.Подумайте, что вы собираетесь делать, как Hadoop сыграет свою роль, и постарайтесь справиться с этим.Со временем вам также захочется изменить сетку, обновить программное обеспечение, поработать с другими идеями и т. Д. Когда вы перейдете на EC2, вы уже сгладите некоторые неровные края.
- Не используйте большийЕмкость машины больше, чем вам нужно при освоении вещей.Если на этом этапе вы не продвигаете большое количество данных или циклы вычислений, не беспокойтесь о кластерных вычислительных узлах, больших экземплярах ОЗУ и т. Д. Просто сосредоточьтесь на правильной настройке.
- Когда выготовы перенастроить на более мощные машины, попробуйте несколько различных настроек машины.Возможно, экземпляры кластерных вычислений окупятся, может быть, вам не нужна такая пропускная способность: пока вы не знаете свои узкие места, не перерасходуйте.
- Обязательно часто используйте точечные экземпляры на этапе тестирования.Обычно вы платите около 50% от цены по требованию.
- Если вы попадаете в точку, где вы хотите платить за экземпляры по требованию, создайте отдельный экземпляр для запуска и остановки экземпляров Hadoop по мере необходимости - если тольковам нужен большой кластер для всех экземпляров вычислительных кластеров.
- Подготовьте свои AMI для запуска как можно быстрее (менее 1 минуты) и никогда не оставляйте работающие в одночасье или в выходные дни, если в этом нет необходимости.
Пока вы не настроите и не запустите систему, вы в основном платите за обучение, чтобы узнать, как настроить все в соответствии с вашими потребностями.Просто платите за обучение, чтобы выучить каждый урок (конфигурации, узкие места, расширение и т. Д.), А не пытаться взять на себя все сразу.Когда вы подходите к этому как к серии уроков, которые вам нужно выучить, тратить деньги будет менее болезненно, но, пока вы знаете, что собираетесь тестировать и изучать, вы также будете тратить деньги более разумно.
Наконец, сравните 1500 долларов с трудозатратами на этот опыт обучения - это, вероятно, не имеет большого значения в долгосрочной перспективе.Как только вы узнаете, что что-то будет разумным блоком вычислительных усилий, оно хорошо спроектировано и быстро закончится (хотя и на многих машинах), тратить деньги на это не так уж и больно.В настоящее время трудно оценить то, что вы изучаете, потому что это еще не приносит целей вашей организации.