Как удалить сообщение SUCESS из PySpark - PullRequest
0 голосов
/ 03 апреля 2020

В PySpark я использую этот код:

from pyspark.sql import SparkSession
import requests
import sys

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

sc = spark.sparkContext

response = requests.get("https://api.exchangeratesapi.io/latest?base=USD")

usdToBrl = str(round(response.json()['rates']['BRL'], 2))

jsonStrings = [sys.argv[1]]
productsRDD = sc.parallelize(jsonStrings)
produtcs = spark.read.json(productsRDD)

produtcs.createOrReplaceTempView("example")

sqlPRODUCTS = spark.sql("SELECT ID, ROUND((MOUSE * "+usdToBrl+") * 100) / 100 as MOUSE, ROUND((KEYBOARD * " +usdToBrl+") * 100) / 100 as KEYBOARD, ROUND((MONITOR * "+usdToBrl+") * 100) / 100 as MONITOR FROM example")

print(sqlPRODUCTS.toJSON().first())

Результат:

{"ID": "1", "МЫШЬ": 21.12, " КЛАВИАТУРА ": 47.52," МОНИТОР ": 681.12} УСПЕХ: Процесс с PID 6456 (дочерний процесс с PID 14344) завершен. УСПЕХ: Процесс с PID 14344 (дочерний процесс с PID 14412) был прерван. УСПЕХ: Процесс с PID 14412 (дочерний процесс PID 5168) был прерван.

Но я просто хочу это:

{"ID": "1 "," МЫШЬ ": 21.12," КЛАВИАТУРА ": 47.52," МОНИТОР ": 681.12}

Как удалить сообщения об успехе?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...