Когда я запускаю программу с tenorflow и pyspark вместе с spark-submit
sample.py
, он говорит, что нет модуля с именем tensorflow
, но когда я запускаю активирую tenorflow и запускаюсь с python sample.py
, он говорит, что нет модуля с именем pyspark.
import tensorflow as tf
import pyspark # only run after findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.sql('''select 'spark' as hello ''')
df.show()