Рекомендации по Hadoop и MS SQL Server - PullRequest
1 голос
/ 30 сентября 2010

Я давно следил за Hadoop, похоже, это отличная технология. Map / Reduce, Clustering - это просто хорошие вещи. Но я не нашел ни одной статьи, касающейся использования Hadoop с SQL Server.

Допустим, у меня есть огромная таблица заявок (600 миллионов строк), и я хочу воспользоваться Hadoop. Я думал, но поправьте меня, если я ошибаюсь, я могу запросить мою таблицу и извлечь все мои данные и вставить их в hadoop в чанках любого типа (xml, json, csv). Тогда я смогу воспользоваться преимуществами Map / Reduce и Clustering как минимум с 6 компьютерами и оставить свой SQL Server для других задач. Я просто бросаю кость здесь, я просто хочу знать, сделал ли кто-нибудь такую ​​вещь.

1 Ответ

2 голосов
/ 30 сентября 2010

Импорт и экспорт данных в реляционную базу данных и из нее - очень распространенный случай использования Hadoop.Посмотрите на утилиту Cloudera Sqoop, которая поможет вам в этом процессе:

http://incubator.apache.org/projects/sqoop.html

...