Так что у меня ежедневная работа, которая будет разбирать CSV на паркет.Что лучше всего делать:
Инкрементно читать только новые данные.Это единственный способ убедиться, что входные данные имеют временную метку
Инкрементальный вывод только новых данных.В настоящее время в качестве обходного пути я буду использовать режим записи «перезапись».Но я не думаю, что это будет эффективно?