Каков наилучший способ обновить эти справочные данные, используемые в приложении Spark?

Question

У меня есть искровое приложение, которое использует не так часто меняющиеся справочные данные. эти справочные данные извлекаются из другой конечной точки REST. В настоящее время я звоню API каждые 5 минут, чтобы получить последнюю версию. Я хотел бы получить последние сразу после уведомления. Каков наилучший способ обновить эти справочные данные при немедленном изменении?

Answer 1

1. Вы можете перекачать свои данные из конечной точки отдыха в Kafka.

2. Храните небольшой и легкий код пользователя в Scala, Java или Spark. который проверяет последние сообщения в кафке.

3. После получения нового сообщения вы можете отправить свою искровую работу.