Я пытаюсь подключиться к удаленному серверу Cassandra через pyspark, но он не выполняет операцию записи в Cassandra во время выполнения cronjob. Тот же код работает на сервере в jupyter notebook, но не через cronjob.
`os.environ ['PYSPARK_SUBMIT_ARGS'] = '--master local [*] pyspark-shell --packages com.datastax. spark: spark-cassandra-connector_2.12: 2.5.0 --conf spark.cassandra.connection.host = 127.0.0.1 pyspark-shell --conf spark. sql .extensions = com.datastax.spark.connector.CassandraSparkExtensions '
из pyspark import SparkContext s c = SparkContext ("local", "keyspace_name") sqlContext = SQLContext (s c)
Data_to_Write.write.format ("org. apache .spark. sql .cassandra "). Mode ('append'). Options (table =" tablename ", keyspace =" keyspace_name "). Save ()`
Я вижу эту ошибку в журналах cassandra: ERROR [Messaging-EventL oop -3-3] 2020-08-05 09: 24: 36,606 OutboundConnectionInitiator. java: 373 - Не удалось установить связь с одноранговым узлом xx.xxx.xxx.xxx:9042 (xx.xxx.xxx.xxx:9042) org. apache .cassandra. net .Crc $ InvalidCr c -