У меня две весенние пакетные работы. 1) Извлечь данные из БД и создать CSV-файл выбранных данных. (Запускается каждые 15 минут). 2) Индексировать созданный CSV-файл для решения. (Запускается каждые 10 минут)
Эти 2 задания выполняются. параллельно с cron.Я хочу добавить секционер в csv, чтобы решить задачу для быстрой обработки.
Проблема в том, что какое-то время csv to solr job получает csv, который все еще находится в процессе получения данных из Задание DB to CSV. Поэтому нужно выбрать только те CSV, которые полностью загружены данными, и предоставить этот файл разделителю. Пожалуйста, расскажите мне путь вперед.