Rest api vs sqoop

Question

Я пытался импортировать данные из mysql в hdfs. Я смог сделать это с sqoop, но это можно сделать, выбрав данные также из api .

Мой вопрос о том, когда использовать rest api для загрузки данных в формате hdf вместо sqoop?

Пожалуйста, укажите разницу с вариантами использования!

Answer 1

Вы можете использовать Sqoop для извлечения данных из Mysql и в Hbase, а затем поместить REST API поверх Hbase (в Hadoop) ... Это мало чем отличается от REST API через Mysql.

По сути, вы сравниваете две разные вещи. Hadoop не предназначен для замены традиционных баз данных или N-уровневых пользовательских приложений, это просто более распределенное, отказоустойчивое место для хранения больших объемов данных.

И вы, как правило, не используете REST API для связи с базой данных, а затем помещаете эти значения в Hadoop, потому что они не будут распределены, и все результаты базы данных будут проходить через один процесс

Answer 2

Sqoop (SQL <=> Hadoop) в основном используется для загрузки данных из RDBMS в HDFS .

Это прямое соединение с базой данных, где вы можете добавлять / изменять / удалять данные в таблицах с помощью команды sqoop eval, если привилегии не определены должным образом для пользователя, обращающегося к БД из sqoop

Но, используя Rest веб-сервисов API , мы можем получать данные из различных баз данных ( может быть NoSQL или RDBMS обе ), подключенных внутри с помощью кода.

Предположим, что вы вызываете спокойный веб-сервис getUsersData с помощью команды curl, которая специально предназначена только для предоставления пользовательских данных и не позволяет добавлять / изменять / обновлять любые компоненты БД независимо от базы данных (RDBMS / NoSQL)