У меня есть папка s3, куда регулярно загружаются файлы sqlite. Эти файлы имеют полную базу данных sqlite с несколькими таблицами. Моя цель - передать sh все данные из этих файлов в amazon RDS. Для этого я использую лямбды. Я создал тестовый CSV-файл для одной из таблиц. Загрузил на s3. Теперь я использую краулер Glue для создания соответствующей таблицы. Использование кода Java из лямбды для запроса этого файла. Все работает нормально. Я не знаю, как программно создавать эти искатели / таблицы и т. Д. c. Еще одна проблема - преобразовать sqlite в CSV для каждой таблицы в файле. Не уверен, что всю базу данных можно преобразовать в формат, например, Apache parquet, и поисковый робот создает для меня несколько таблиц. Мне не нужна таблица, созданная сканером, после того, как она отправлена в RDS. Поэтому мне интересно, могу ли я использовать одиночный сканер и продолжать изменять его источник, когда новый файл добавляется в s3.