Как запустить сценарий непосредственно на терминале, а не использовать файл сценария? - PullRequest
Новая
       41

Как запустить сценарий непосредственно на терминале, а не использовать файл сценария?

0 голосов
/ 04 марта 2019

У меня есть несколько заданий, в которых для выполнения некоторых задач используется следующая команда: 

pyspark --master yarn --deploy-mode cluster --py-files file.py --name file file.py

Сценарий в моем файле python очень прост: 

from pyspark import SparkContext;
from pyspark.sql import HiveContext;
sc =SparkContext();
hive_context = HiveContext(sc);
table_1 = hive_context.sql("SELECT * FROM table_1");
table_1.write.insertInto("table_to_insert", overwrite=True);

Мой вопрос:могу ли я запустить эту команду непосредственно со сценарием вместо использования файла?Что-то вроде: 

"pyspark --master yarn --deploy-mode cluster --py-script 'from pyspark import SparkContext; from pyspark.sql import HiveContext; sc =SparkContext(); hive_context = HiveContext(sc); table_1 = hive_context.sql("SELECT * FROM table_1"); table_1.write.insertInto("table_to_insert", overwrite=True);'"

Возможно ли это?

Большое спасибо за вашу поддержку!

...