У меня есть искровое задание, которое будет периодически отправляться для выполнения какой-либо работы каждый час, поэтому теперь мне нужно сохранять состояние завершения этого задания в некоторой базе данных всякий раз, когда завершается какое-либо действие (например, фильтрация и запись).
Каков наилучший способ получить прогресс работы (от стадии искры) и сохранить его прогресс, завершение или ошибку, если таковые имеются?
Я думал об использовании Hbase или какого-либо другого без SQL, но для этой простой информации Hbase или другая БД будут непроизводительными, также похоже, что нет поддержки SQLite с помощью spark, так как лучше всего хранить эту информацию
Мне нужно ниже информацию, чтобы положить его дБ
- Текущая работа JOB, ее ход, пути ввода / вывода и т. Д.
- Завершение работы, статус ожидающего отказа и т. Д.