Я сталкиваюсь с приведенной ниже ошибкой при разработке конвейера данных с использованием python и pyspark.
PS C: \ Users \ folder \ Documents \ folder \ projects \ code \ etl -gd \ src \ jobs \ больший-data> python test.py Traceback (последний вызов был последним): файл "test.py", строка 1, из pyspark.conf, импорт из файла SparkConf "C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark__init __. py ", строка 51, из файла pyspark.context import файл SparkContext" C: \ Users \ папка \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark \ context.py ", строка 43, из файла импорта pyspark.profiler ProfilerCollector, файл BasicProfiler" C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark \ profiler.py ", строка 18, в файле импорта cProfile" C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ cProfile.py ", строка 10 , в профиле импорта в виде файла _pyprofile "C: \ Users \ папка \ Documents \ folder \ projects \ code \ etl-gd \ src \ jobs \ больший-data \ profil e.py ", строка 2, из файла GlueContext для импорта awsglue.context" C: \ Users \ папка \ Documents \ folder \ projects \ code \ etl-gd \ src \ jobs \ больший-data \ awsglue__init __. py " , строка 13, из .dynamicframe import Файл DynamicFrame "C: \ Users \ папка \ Documents \ folder \ projects \ code \ etl-gd \ src \ jobs \ больший-data \ awsglue \ dynamicframe.py", строка 20 , из pyspark. sql .dataframe import Файл данных кадра "C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark \ sql__init __. py", строка 45, в из pyspark. sql .types import Row File "C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark \ sql \ types.py", строка 36, в из pyspark import SparkContext ImportError: невозможно импортировать имя «SparkContext» из «pyspark» (C: \ Users \ folder \ AppData \ Local \ Programs \ Python \ Python37 \ lib \ site-packages \ pyspark__init __. py)
Код очень простой, чтобы его попробовать:
from pyspark.conf import SparkConf
print("hello world")
Java, spark, python и pyspark установлены правильно Ред. как показано ниже:
> PS
> C:\Users\folder\Documents\folder\projects\code\etl-gd\src\jobs\greater-data>
> java -version java version "1.8.0_241" Java(TM) SE Runtime Environment
> (build 1.8.0_241-b07) Java HotSpot(TM) 64-Bit Server VM (build
> 25.241-b07, mixed mode) PS C:\Users\folder\Documents\folder\projects\code\etl-gd\src\jobs\greater-data>
> PS
> C:\Users\folder\Documents\folder\projects\code\etl-gd\src\jobs\greater-data> python --version
> Python 3.7.6
> PS
> C:\Users\folder\Documents\folder\projects\code\etl-gd\src\jobs\greater-data>
> spark-shell --version Welcome to
> ____ __
> / __/__ ___ _____/ /__
> _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.3
> /_/
>
> Using Scala version 2.11.12, Java HotSpot(TM) 64-Bit Server VM,
> 1.8.0_231 Branch heads/v2.4.3 Compiled by user vaviliv on 2019-09-17T17:31:05Z Revision c3e32bf06c35ba2580d46150923abfa795b4446a
> Url https://github.com/apache/spark Type --help for more information.
> PS
> C:\Users\folder\Documents\folder\projects\code\etl-gd\src\jobs\greater-data>
> pyspark --version
> Welcome to
> ____ __
> / __/__ ___ _____/ /__
> _\ \/ _ \/ _ `/ __/ '_/
> /___/ .__/\_,_/_/ /_/\_\ version 2.4.3
> /_/
>
> Using Scala version 2.11.12, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_231
> Branch heads/v2.4.3
> Compiled by user vaviliv on 2019-09-17T17:31:05Z
> Revision c3e32bf06c35ba2580d46150923abfa795b4446a
> Url https://github.com/apache/spark
> Type --help for more information.
Заранее благодарим за помощь.