Как исправить ошибку "TypeError: объект 'module' не вызывается" при запуске sc = SparkContext () "?

Question

Я установил PySpark на Amazon AWS, используя инструкции: https://medium.com/@josemarcialportilla/getting-spark-python-and-jupyter-notebook-running-on-amazon-ec2-dec599e1c297

Это прекрасно работает:

Import pyspark as SparkContext

Это выдает ошибку:

sc = SparkContext()

TypeError                                 Traceback (most recent call last)
    <ipython-input-3-2dfc28fca47d> in <module>
    ----> 1 sc = SparkContext()

    TypeError: 'module' object is not callable

Answer 1

pyspark - это модуль.Вы импортируете SparkContext из pyspark.

from pyspark import SparkContext

Answer 2

Вы можете сделать это -

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

Spark 2.0 имеет SparkSession в качестве единой точки входа.Вам не нужно SparkConf, SparkContext или SQLContext отдельно, поскольку они инкапсулированы в SparkSession.

Для получения более подробной информации см. pyspark.sql.SparkSession documentmentaion.