У нас есть одна тестовая виртуальная машина EC2 с Spark Master и 3 работниками Spark. Какие настройки необходимо выполнить, чтобы Redis работал с PySpark? Спасибо.
1) Создайте zip-файл Redis Module 2) Используйте PySpark's addPyFile, как показано ниже sc.addPyFile ( "/ путь / к / redis.zip")
Ссылка: Запись данных в Redis из PySpark