AWS SageMaker Spark SQL

Question

Я знаю, например, что с предложением Qubole Hive, в котором используются записные книжки Zeppelin, я могу использовать Spark SQL для выполнения собственных команд SQL для взаимодействия с таблицами Hive. Я могу читать из внешних таблиц и создавать внутренние таблицы или просто выполнять специальные запросы.

Я работаю над проектом в AWS. У меня есть данные в S3, с внешними таблицами, созданными в Афине. Я нашел статьи и последовал за ними, чтобы настроить некоторые ноутбуки Jupyter, но я не понимаю, как у меня могут быть записные книжки, использующие Spark SQL. Это возможно?

Если нет, то каков наилучший механизм в экосистеме AWS для инкапсуляции логики для создания внутренних таблиц из внешних таблиц для вторичной обработки данных.

Answer 1

У вас есть два варианта:

1) запустить ноутбуки Jupyter на EMR: https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-managed-notebooks.html

2) запускать записные книжки Jupyter на SageMaker: https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html

Оба поддерживают PySpark, поэтому вы должны иметь возможность запускать SQL-запросы для любого бэкенда, в котором живут ваши данные.