может спровоцировать доступ к удаленной базе данных mysql. Ассистент Удаленный сервер не имеет искры и может активировать просмотр базы данных

Question

Мне нужно использовать mysql Data для обработки искрой. Может искры в состоянии обрабатывать удаленные данные MySQL. Подумайте, что я устанавливаю спарк на сервре А, а MySQL на сервере Б. Сервер B не имеет искры, на нем установлен mysql. Таким образом, возможно ли использование spark с сервера A, мы обрабатываем данные mysql на сервере B.

Кроме того, второй запрос, скажем, у меня сложный запрос в базе данных, поэтому я создал представление для него, может ли спарк взять данные, основанные на этом представлении?

Спасибо заранее Дебашис Маллик

Answer 1

Вам не нужно устанавливать spark на тот же сервер, что и MySQL. Вы можете прочитать данные из MySQL с сервера A на Spark на сервере B с помощью sqoop (драйвер jdbc) и обработать данные на сервере B (Spark Cluster).

Второй запрос Regd, ответ - да. Опять же, вы можете использовать sqoop для чтения данных из представления данных MySQL. Примечание. В настоящее время Sqoop не поддерживает импорт из режима просмотра в прямом режиме. Используйте основанный на JDBC (не прямой) режим в случае, если вам нужно импортировать представление (просто пропустите параметр --direct). Ссылка : https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html