как у вас дела?
Я хотел бы знать, есть ли рекомендуемый способ выполнить условное обновление Redis из искры.
По сути, я хочу сделать :
- Дан фрейм данных Spark со столбцами ключ , hash_field , значение , value_version . Для каждой строки в кадре данных Spark я хотел бы проверить, существует ли соответствующий ключ в Redis. Если нет, запустите hset key hash_field hash_field + version value_version
- Если он существует, я хотел бы обновить значение и версию значения только в том случае, если версия в моем фрейме данных Spark выше, чем версия в поле redis ha sh.
Я искал это, и наиболее похожий вопрос, который я нашел, был это -> Условный набор Redis / только обновление с последней версией ?
Однако это требует написания и запуска сценария Lua. Хотя меня это устраивает, мне интересно, что было бы лучше всего сделать. Есть ли рекомендуемый способ сделать это условное подтверждение от искры? Если Lua действительно путь к go, как лучше всего сделать это с помощью Spark? Возможно ли использование spark-redis , или мне следует go вниз по уровню и использовать Jedis непосредственно для каждой строки?
Заранее спасибо :)