Вариант использования:
- Datastax DSE Cluster под управлением Cassandra, HiveMetastore (на основе Cassandra) и SparkSQL содержит DDL внешних таблиц, указывающих на DSEFS
- Кластер EC2, на котором работают HiveMetastore (на базе MySQL), HiveServer2 и SparkSQL. Этот метастор хранит DDL внешних таблиц, указывающих на S3
Возможно ли иметь одно соединение SparkSQL, которое может считывать данные из обоих метастазов (т.е. таблиц DSEFS из HMS (Cassandra) и таблиц S3 из HMS (MySQL))? Из того, что я видел, одна HMS не обрабатывает внешние таблицы S3 и DSEFS.