PySpark как среда выполнения для Django вместо обычной среды Python?

Question

Можно ли использовать PySpark в качестве среды выполнения для Django вместо обычной среды Python?

Поскольку Django только выполняет задачи Python, разве эти задачи нельзя распараллелить в Spark?

Здесь, в python3 manage.py shell_plus --notebook, я импортировал pyspark и выполнил запрос, используя ORM. Он работает чисто.

import findspark
findspark.init()

import pyspark
import pyspark.sql

sc = pyspark.SparkContext(appName="Django")
patients = Patient.nodes.all()
print(patients)
sc.stop()

[1]: #returned the data from my model

Или это может быть вызвано runserver изнутри pyspark?

$ pyspark
>>> import os
>>> os.chdir(r"/Users/me/Project")
>>> import manage
>>> print(manage)
<module 'manage' from '/Users/me/Project/manage.py'>

Answer 1

pyspark - это всего лишь скрипт для инициализации всех переменных среды, сеанс Spark; позволяют вам управлять искрой в интерактивном режиме. В целом, нет проблем с запуском разных библиотек Python из оболочки pyspark

Я не знаю причину вашего требования, но подход с pyspark рекомендуется только для разработки, а не для производства.