Я пытаюсь запустить тестовый файл в PyCharm с unittest.
Это сообщение об ошибке с этим сообщением:
FileNotFoundError: [Errno 2] Нет такого файла или каталога: 'myfolder / opt / spark / ./ bin / spark-submit ':' myfolder / opt / spark /./ bin / spark-submit '
Важно отметить, что путь myfolder/opt/spark/./bin/spark-submit несуществует, но myfolder/opt/spark/bin/spark-submit существует. Я понятия не имею, почему к пути добавляется дополнительный ./.
Код к пути:
sc = SparkContext(appName="CSV2Parquet")
sqlContext = SQLContext(sc)
schema = StructType([ StructField("col1", IntegerType(), True)])
rdd = sc.textFile("/Users/ash/PycharmProjects/practise/test/departments.csv").map(lambda line: line.split(","))
df = sqlContext.createDataFrame(rdd, schema) df.write.parquet('/Users/ash/PycharmProjects/practise