получать данные из улья в mysql @ AWS?

Question

Я бы с удовольствием использовал Sqoop, но не думаю, что стоит запускать стек Cloudera @ AWS поверх ElasticMapReduce (что мне действительно нравится) только для этого.

Моя текущая мысль - просто записать данные, которые мне нужны, и переместить их во внешнюю таблицу, содержащую @S3, а затем написать скрипт для импорта их в mysql. У Amazon есть кое-что с SimpleDB ( пример ), но я тоже не уверен насчет этого маршрута? Хорошо с данными, живущими на S3, просто интересно, есть ли у кого идея получше.

Спасибо!

Answer 1

Самое простое решение, которое я использую и прекрасно работает:

1. Так же, как вы предложили, поместите ваши данные в корзину S3.Вы можете создать таблицу, которая размещается на S3 и имеет, например, формат с разделением табуляцией.Если вы используете один редуктор на последнем шаге, вы получите только один файл.
2. Загрузите данные на сервер MySQL, мой любимый инструмент будет s3cmd
3. Импортируйте свои данные прямо в MySQL, используя LOAD DATA INFILE ...