В PySpark я использую этот код:
from pyspark.sql import SparkSession
import requests
import sys
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
sc = spark.sparkContext
response = requests.get("https://api.exchangeratesapi.io/latest?base=USD")
usdToBrl = str(round(response.json()['rates']['BRL'], 2))
jsonStrings = [sys.argv[1]]
productsRDD = sc.parallelize(jsonStrings)
produtcs = spark.read.json(productsRDD)
produtcs.createOrReplaceTempView("example")
sqlPRODUCTS = spark.sql("SELECT ID, ROUND((MOUSE * "+usdToBrl+") * 100) / 100 as MOUSE, ROUND((KEYBOARD * " +usdToBrl+") * 100) / 100 as KEYBOARD, ROUND((MONITOR * "+usdToBrl+") * 100) / 100 as MONITOR FROM example")
print(sqlPRODUCTS.toJSON().first())
Результат:
{"ID": "1", "МЫШЬ": 21.12, " КЛАВИАТУРА ": 47.52," МОНИТОР ": 681.12} УСПЕХ: Процесс с PID 6456 (дочерний процесс с PID 14344) завершен. УСПЕХ: Процесс с PID 14344 (дочерний процесс с PID 14412) был прерван. УСПЕХ: Процесс с PID 14412 (дочерний процесс PID 5168) был прерван.
Но я просто хочу это:
{"ID": "1 "," МЫШЬ ": 21.12," КЛАВИАТУРА ": 47.52," МОНИТОР ": 681.12}
Как удалить сообщения об успехе?