Я использую pyspark
spark 2.4.4 и Pycharm Python: 2.7
Пожалуйста, помогите мне, как мне настроить Airflow в ОС Windows для Spark.я использую pycharm для создания приложения spark.
, когда я пытался установить пакет воздушного потока через pycharm, я получаю сообщение об ошибке:
File "C:\Users\Edward\AppData\Local\Temp\10\pycharm-packaging\dumb-init\setup.py", line 95, in run
cmd = compiler.linker_exe + [f.name, '-static', '-o', os.devnull]
AttributeError: MSVCCompiler instance has no attribute 'linker_exe'
----------------------------------------
ERROR: Command errored out with exit status 1: 'C:\Users\Edward\PycharmProjects\DataClean\venv\Scripts\python.exe' -u -c 'import sys, setuptools, tokenize; sys.argv[0] = '"'"'
C:\\Users\\Edward\\AppData\\Local\\Temp\\10\\pycharm-packaging\\dumb-init\\setup.py'"'"'; __file__='"'"'
C:\\Users\\Edward\\AppData\\Local\\Temp\\10\\pycharm-packaging\\dumb-init\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))'
install --record
'c:\users\Edward\appdata\local\temp\10\pip-record-ntk3mx\install-record.txt' --single-version-externally-managed --compile --install-headers
'C:\Users\Edward\PycharmProjects\Data\venv\include\site\python2.7\dumb-init' Check the logs for full command output.
Пожалуйста, помогите мне, если кто-то может поделиться настройкой Airflowв подробностях.