Получить данные из общего ресурса для двух сторон - PullRequest
0 голосов
/ 13 июня 2019

есть доля с данными о нем для ETL-процесса. Проблема в том, что две стороны должны получить эти данные, прежде чем данные могут быть удалены из общего ресурса.

Как лучше всего убедиться, что обе стороны извлекли данные, прежде чем переносить данные в корзину?

1 Ответ

0 голосов
/ 13 июня 2019

Данные при загрузке должны быть "зарегистрированы". То есть запись должна быть записана в базу данных для отслеживания того, что файл / данные были загружены. Имя файла, количество строк, найденная дата, дата загрузки, местоположение на общем ресурсе, уникальный идентификатор данных и т. Д. ... все это следует отслеживать. Если вы делаете это и делаете это в обоих местах, где данные должны быть загружены, то это просто вопрос наличия каждого пункта назначения для данных, запрашивающих другой пункт назначения, чтобы увидеть, был ли загружен файл.

Это или у вас может быть отдельный, третий процесс, который является процессом "очистки" ... удаленные завершенные данные / файлы. Он будет проверять файлы, расположенные в общей папке, а затем проверять каждый пункт назначения, чтобы увидеть, был ли загружен файл / данные. Как только это произойдет, этот другой / третий процесс будет обрабатывать удаление исходных данных (или, предпочтительно, архива, если он еще не был заархивирован ранее).

...