Создайте контекст Spark для каждого запроса в приложении флакона pyspark. - PullRequest
Новая
       20

Создайте контекст Spark для каждого запроса в приложении флакона pyspark.

0 голосов
/ 26 июня 2018

Я новичок в apace spark, как мы можем создать контекст искры для веб-приложений.

Ниже, я использовал, 

from pyspark.context import SparkContext
from pyspark.conf import SparkConf
conf = SparkConf().setAppName('Test App').setMaster('spark://localhost:7077')
app = Flask(__name__)

@app.route('/find_possible_events', methods=['POST'])
def find_possible_events():
     sc=SparkContext.getOrCreate(conf=conf)
     data=sc.parallelize([20,30,40,50])
     d=data.collect()
     sc.stop
     return d

Вышеприведенное работает нормально, когда мыимел один в то же время, но если у нас было несколько запросов, значит получил ошибку.

Исключение в потоке "dispatcher-event-loop-8" java.lang.OutOfMemoryError: Превышен лимит накладных расходов GC

когда я брал журнал регистрации работника, он говорит, что контекст искры недоступен.

Заранее спасибо

...