Как я могу использовать Spark Context?

Question

Я присваиваю значение как sc = pyspark.SparkContext (). Он работает и не отвечает так долго на ноутбуке Jupyter, поскольку появляется звездочка и не показывает ошибки или около того.

Я пытался sc = SparkContext()

import pyspark
import os
from pyspark import SparkContext, SparkConf
sc = pyspark.SparkContext()  # At this part it don't respond
from pyspark.sql import SQLContext
sqlc = SQLContext(sc)

Это должно продолжаться.

Answer 1

для Python,

from pyspark import SparkContext
sc = SparkContext(appName = "test")

Но так как вы работаете с pyspark версии 2+, вам не нужно инициализировать контекст spark. Вы можете создать сеанс зажигания и напрямую работать над ним.

SPARK 2.0.0 и более поздних версий, SparkSession предоставляет единую точку входа для взаимодействия с базовыми функциями Spark и позволяет программировать Spark с помощью API DataFrame и Dataset. Все функции, доступные в sparkContext, также доступны в sparkSession.

Чтобы использовать API-интерфейсы SQL, HIVE и Streaming, не нужно создавать отдельные контексты, поскольку sparkSession включает в себя все API-интерфейсы.

Чтобы настроить сеанс искры,

session = SparkSession.builder.getOrCreate()

Answer 2

Попробуйте следующий импорт: from pyspark import * После этого вы можете использовать его так:

sc = SparkContext()