ExecuteSparkInteractive возвращает JSON в виде открытого текста - PullRequest
Новая
       121

ExecuteSparkInteractive возвращает JSON в виде открытого текста

0 голосов
/ 15 октября 2019

Я использую ExecuteSparkInteractive на nifi-1.9.2. Основная идея состоит в том, чтобы получить данные json из spark и затем вставить их в mongodb.

Вот мой искровой код 

query = "(select empno,ename,dname from emp, dept where emp.deptno = dept.deptno) emp"
empDF = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:oracle:thin:username/password@//hostname:portnumber/SID") \
    .option("dbtable", query) \
    .option("user", "db_user_name") \
    .option("password", "password") \
    .option("driver", "oracle.jdbc.driver.OracleDriver") \
    .load()
empDF.toJSON().collect()

Приведенный выше код возвращает мне список json.

Теперь я использовал тот же код в ExecuteSparkInteractive и в случае успеха я использовал PutMongoRecord. Но проблема в том, что когда я использую приведенный выше код в ExecuteSparkInteractive, он возвращает мне stringified json. в формате ниже 

{"text\/plain":"[u'{MY_JSON_LIST}']"}

Как получить оригинальный список вместо строкового или каким-либо другим лучшим способом добиться того же?

...