У меня есть работа Glue, которая записывает файлы паркета в S3 каждые 6 секунд, а у S3 есть папка для этого часа. В конце часа я хочу объединить все файлы в этом часовом разделе, а затем поместить его в то же место. Я не хочу использовать таблицы Athena, потому что работа становится медленной. Я пытаюсь использовать Python Shell. Но так как я не нашел правильного решения. Может ли кто-нибудь помочь мне с этим?
Файл также мгновенно заархивирован