Как легко настроить Hadoop для большой таблицы MySQL

Question

Я делаю свою студенческую работу.Пожалуйста, помогите мне понять, в каком направлении мне двигаться.

Итак, у меня на компьютере большая база данных MySQL (31,3 ГБ, 130 миллионов строк).Я написал простую HTML-страницу (интерфейс для моей программы).Я использую PHP для подключения к моей базе данных, AJAX для асинхронного получения данных с сервера и OpenServer (локальный сервер для тестирования).

Как это работает: пользователь выбирает некоторые фильтры на моей html-странице, нажимает кнопкуКнопка поиска, и она отображает основную таблицу.

Все работает хорошо, но что я должен использовать, чтобы подключить свой проект к Hadoop?Это обязательное требование.Может быть, HortonWorks / Cloudera / Docker?Будет очень полезно, если вы отправите ссылки на некоторые полезные руководства.

Основной критерий прост в настройке и установке.Кроме того, у меня на ноутбуке всего 4 ГБ ОЗУ, поэтому, скорее всего, мне придется использовать старые версии инструментов.HortonWorks 2.1 был успешно установлен даже на моей виртуальной машине (Ubuntu 14.04). Заранее всем спасибо за помощь!

Answer 1

Вы можете использовать Sqoop import для передачи данных из MySQL в Hive .Затем вы можете запросить через HiveServer2 .

. Для получения Hadoop и других компонентов лучше всего использовать HDP или CDH песочницу.Если ресурсы вашего компьютера не разрешают использовать изолированную программную среду, рассмотрите возможность использования AWS .

Когда у вас есть данные в Hive, вы можете указать приложению запрашивать Hive и обслуживать результаты, вместо того чтобы переходить кMySQL.