Есть ли структура, которая может выдвигать объемные данные?

Question

Наши платформы MySQL и Hadoop развернуты в разных сетях, Hadoop не может посещать MySQL, но MySQL может подключаться к Hadoop.

Так есть ли инструмент, который может передавать объемные данные из RDS в HDFS, такие как данные выборки Sqoop?или есть какой-либо другой метод, который может решить эту проблему?

Любая помощь приветствуется.

---

Кстати, кластер Hadoop потребляет тему Kafka в нашей сети, развертывая flume вобе стороны и соединить вместе.Но для больших объемов данных RDS, как этого добиться?

Answer 1

Здесь для перемещения больших объемов данных из MySQL в Hadoop у вас есть другая опция / решение, а именно соединение Spark JDBC с базой данных MySQL для переноса данных в кластер Hadoop.

Использование Sqoop для перемещения данных является старой техникой для импорта данных из RDBMS в кластер hadoop.Но решение SparkJDBC основано на Spark в механизме исполнения памяти с хорошо зарекомендовавшей себя записью производительности и надежной в использовании.