У меня много запросов Spark SQL к таблицам AWS Athena, сохраненным в виде текстовых файлов.Могу ли я загрузить эти текстовые файлы как строковую переменную и использовать их в качестве команды SQL dataframe в скрипте AWS Glue на кадрах данных, приведенных из динамических кадров?Предположим, что я могу загружать динамические кадры из таблиц Athena и регистрировать их соответствующие кадры данных в качестве временных представлений в Spark.
Для повторного использования сложных преобразований данных, разработанных в Spark SQL, в заданиях AWS Glue.