Мой код spark2.4 с python -3 объявлен следующим образом с контекстом искры, но он всегда терпит неудачу с ошибкой ниже.
Что-нибудь, я пропустил в объявлении.
Ошибка: java.lang.IllegalStateException: Пользователь не инициализировал контекст искры!.
# lib imported
from pyspark.sql import SparkSession
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
from awsglue.utils import getResolvedOptions
import pyspark.sql.functions as F
from datetime import datetime
from pyspark.sql.utils import AnalysisException
main():
{
# Initialize start of the Glue job
sc = SparkContext()
glueContext = GlueContext(sc.getOrCreate())
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'],args)
}