19/09/19 11:49:05 INFO FileUtils: deleting gs://rbuck/folder/ggo/hive_table_any/month=6/year=2018/xyz=abc/part-00073-9dbb91f8-6041-402f-a093-1061bb9ffaa8.c000
19/09/19 11:51:17 INFO Hive: Replacing src:gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=6/year=2018/xyz=abc/part-00073-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, dest: gs://rbuck/folder/ggo/hive_table_any/month=6/year=2018/xyz=abc/part-00073-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, Status:true
19/09/19 11:51:17 INFO Hive: New loading path = gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=6/year=2018/xyz=abc with partSpec {month=6, year=2018, xyz=abc}
19/09/19 11:51:17 INFO FileUtils: deleting gs://rbuck/folder/ggo/hive_table_any/month=2/year=2018/xyz=abc/part-00029-9dbb91f8-6041-402f-a093-1061bb9ffaa8.c000
19/09/19 11:53:21 INFO Hive: Replacing src:gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=2/year=2018/xyz=abc/part-00029-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, dest: gs://rbuck/folder/ggo/hive_table_any/month=2/year=2018/xyz=abc/part-00029-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, Status:true
19/09/19 11:53:21 INFO Hive: New loading path = gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=2/year=2018/xyz=abc with partSpec {month=2, year=2018, xyz=abc}
19/09/19 11:53:21 INFO FileUtils: deleting gs://rbuck/folder/ggo/hive_table_any/month=8/year=2019/xyz=abc/part-00065-9dbb91f8-6041-402f-a093-1061bb9ffaa8.c000
19/09/19 11:55:22 INFO Hive: Replacing src:gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=8/year=2019/xyz=abc/part-00065-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, dest: gs://rbuck/folder/ggo/hive_table_any/month=8/year=2019/xyz=abc/part-00065-4a075b3d-61d3-46e9-8c28-ac2822ff0350.c000, Status:true
19/09/19 11:55:22 INFO Hive: New loading path = gs://rbuck/folder/ggo/hive_table_any/.hive-staging_hive_2019-09-19_10-31-36_055_8543786963981631342-1/-ext-10000/month=8/year=2019/xyz=abc with partSpec {month=8, year=2019, xyz=abc}
19/09/19 11:55:23 INFO FileUtils: deleting gs://rbuck/folder/ggo/hive_table_any/month=9/year=2015/xyz=abc/part-00179-2a442cbd-d1b0-4484-9f44-7b33c5c1b57d.c000
У меня есть искровое задание, которое вставляет перезаписи в таблицу кустов в зависимости от года и года разделов.
Само искровое задание занимает 4 минуты, но после этого операция перезаписи вставки занимает 2 часа.Я вижу, что это удаление файлов из хранилища Google, которое занимает 2 минуты на файл.Фактический размер файла только в килобайтах.Как ускорить этот процесс удаления?
Можем ли мы использовать инструмент rsync?